• Home
  • Blog
  • Realtime oder Near Realtime, das ist oft die Frage
von Peter M. Horbach

Realtime oder Near Realtime, das ist oft die Frage

BOS hat sich in der vergangenen Dekade zu einem führenden Unternehmen in den Bereichen Datensynchronisation, Datenaustausch, Datentransformation und Mainframe Direktzugriff entwickelt. Kunden aus den unterschiedlichsten Branchen auf der ganzen Welt setzen unsere tcVISION Lösung ein. Nicht nur Kunden mit einem Mainframe als Herzen ihrer IT, sondern auch Kunden mit unterschiedlichen Open Server Plattformen nutzen die Flexibilität und Effizienz unserer Lösung.

Wir wollen mit diesem Blog Interessenten als auch Kunden nähere Einblicke in unsere Arbeit gewähren. Im ersten Teil dieses Blogs setzen wir uns mit der Frage auseinander:

Was ist Realtime und was ist Near Realtime?

Nahezu alle Anbieter von Lösungen zur Datensynchronisation verwenden den Begriff Realtime. Dazu gehört auch die BOS Software. Stellen Sie sich bitte die folgenden Szenarien vor:

1. Zentraler Mainframe mit dem Betriebssystem z/OS oder z/VSE, VSAM, IMS bzw. DLI Datenbanken und einer neuen Anwendungsplattform mit Linux (Intel, Unix oder System z) und einer relationalen Datenbank (z.B. Db2 LUW oder ORACLE).

Die produktiven Mainframe-Daten (VSAM, IMS und DLI) sollen im Online bzw. Batch Betrieb mit den Datenbanken unter Linux ohne messbaren Zeitverlust synchronisiert werden.

tcVISION ermittelt die Änderungsdaten unter VSAM bzw. IMS/DLI zum Zeitpunkt der Änderung und repliziert diese Daten an das Linux Zielsystem, wo sie aufbereitet, bearbeitet und in die entsprechenden Tabellen der Zieldatenbank appliziert werden.

tcVISION bietet hierzu unterschiedliche Technologien an, die zum Einsatz gebracht werden können (z/OS oder tcVISION Logstreams und aktive Datenbank-Logs). Alle diese Verfahren ermitteln die Änderungsdaten in Realtime und bis zum Einspielen in das Zielsystem vergehen keine Sekunden. Voraussetzung ist eine technische Infrastruktur, die ohne Engpässe und Performanceprobleme arbeitet.

2. Zentraler Mainframe mit dem Betriebssystem z/OS, IMS und Db2 Datenbanken und einer neuen BigData Plattform mit HADOOP.

Die Änderungsdaten sollen immer dann ermittelt und übertragen werden, wenn unter IMS bzw. Db2 eine Logdatei archiviert wird.

tcVISION verarbeitet die archivierten Logdateien entweder direkt auf dem Mainframe oder nach einem File-Transfer auf eine Windows oder Unix Plattform. Zwischen der Erstellung der Daten und der Verarbeitung kann eine Latenz von mehreren Minuten liegen, die vom Kunden eingeplant und den Analytics Anforderungen für BigData gerecht ist. Diese Art der Verarbeitung ist eine Near Realtime Verarbeitung.

Die oben gezeigten Szenarien können auf allen von tcVISION unterstützten Plattformen durchgeführt werden.

Fassen wir zusammen:

Realtime oder Echtzeit-Verarbeitung bedeutet, dass die Daten unmittelbar nach der Änderung erfasst und verarbeitet werden. Auch hier ist eine Latenzzeit zu erkennen, die jedoch in Sub-Second Bereichen ist und dem Begriff Echtzeit nicht entgegensteht.

Ist die gewählte Verarbeitung für die Datensynchronisation auf archivierte Logdateien bzw. Journals ausgelegt, sprechen wir von einer Near Realtime Verarbeitung. Diese Art der Verarbeitung wird oft in den Bereichen Analytics, Reporting und BigData eingesetzt.

Wer braucht Realtime und Near Realtime Daten?

Nahezu alle Unternehmen, unabhängig von Branchen und Industrien, die im globalen Wettbewerb bestehen wollen. Ein Blick auf unsere Kundenbasis bestätigt das. Die meisten Anwendungen sind in den Bereichen Datensynchronisation aufgrund von Anwendungs- und Migrationsanforderungen und in den Bereichen BigData und Cloud-Computing zu finden. Sie finden hierzu Anwendungsbeispiele auf unserer Webseite.

Methoden der tcVISION Replikationen

tcVISION bietet unterschiedliche Methoden an, um Änderungsdaten zu ermitteln.

Realtime

Betriebssystem Methode Quelle
z/OS Logstreams CICS, Shared VSAM, tcVISION Logstreams
Active Logs Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE tcVISION Kollektor VSAM, Db2, DLI
Active Logs ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Log Verarbeitung Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix

Near Realtime

Betriebssystem Methode Quelle
z/OS Archive Logs* Db2, IMS, ADABAS,DATACOM, IDMS
z/VSE Archive Logs* ADABAS, DATACOM, IDMS
Windows/UNIX, Linux Archive Logs* Db2, MS SQL-Server, Oracle, MySQL/MariaDB, ADABAS PostgreSQL, Informix

* Archivierte Logs können entweder auf dem Mainframe oder auf einer Windows, Unix, Linux Plattform verarbeitet werden.

Weitere Methoden

Eine spezielle Methode, die von tcVISION angeboten wird, ist das sogenannte Batch-Compare Verfahren. Dieses Verfahren vergleicht eine beliebige Datei (alle unterstützten Quellen) mit einer in einem vorherigen Lauf erstellten Snapshot-Datei, um die Änderungen zu ermitteln.

Für das Einpflegen von Massendaten bzw. das erstmalige Laden der Daten steht der tcVISION BULK Reader und Loader zur Verfügung. Diese Komponente kann entweder direkt auf die Datenquellen zugreifen oder auf Image-, Backup- bzw. Unload-Dateien. Das Einpflegen der Daten in die Zieldatenbank kann über SQL bzw. über die Loaderfunktion der Datenbank erfolgen.

Möchten Sie mehr erfahren?

tcVISION ist eine extrem flexible, systemübergreifende Lösung für die zeitnahe, bidirektionale Datensynchronisation und Replikation auf Basis von Änderungsdaten. Datenaustausch wird zur Single-Step-Operation. Der Einsatz von Middleware oder Message Queueing ist nicht notwendig. Der Datenaustausch erfolgt im Raw-Format in komprimierter Form und reduziert sich auf das Delta von Änderungsdaten. Daten können in Echtzeit, zeitgesteuert oder ereignisgesteuert sowohl uni- als auch bidirektional bewegt werden.

Setzen Sie sich mit uns in Verbindung oder melden Sie sich für unseren Newsletter an.

Unser Support-Team unterstützt Sie gerne bei der Implementation unserer Software-Lösungen. Wir haben uns hohe Maßstäbe gesetzt, um unseren Kunden optimalen Service zu bieten. Die Mitarbeiter unseres Support-Teams zeichnen sich durch hervorragende Produktkenntnisse aus und verfügen über ein breites Spektrum an Fachwissen im gesamten Umfeld, in dem unsere Lösungen eingesetzt werden.

Sowohl im Bereich unserer Großrechnerlösungen, als auch für unsere Client-Server-Lösungen stehen Ansprechpartner zur Verfügung, die nicht nur qualifiziert Auskunft hinsichtlich einer optimalen Produktnutzung erteilen können. Aufgrund ihrer Fachkompetenz sind sie vielmehr auch in der Lage, unsere Kunden bei der Erarbeitung und Realisierung individueller Implementationskonzepte tatkräftig zu unterstützen.

Peter M. Horbach ist mit über 40 Jahren IT Erfahrung seit vielen Jahren in den Bereichen Datensynchronisation und Replikation tätig. Für BOS Software pflegt er Kontakte zu den internationalen Partnern und schreibt den Blog.

zurück zur Übersicht