Migrieren der Mainframedatenebene zu Azure mit mLogica LIBER*IRIS

Großrechneranwendungen generieren hohe Transaktionsdatenmengen. Azure ist eine geeignete Plattform zum Modernisieren dieser Workloads und zum Migrieren ihrer Daten. Azure relationale und NoSQL Datenbanken bieten Skalierbarkeit, hohe Verfügbarkeit und einfache Wartung, die Großrechnerumgebungen erfüllt oder überschreitet. Wenn Sie beabsichtigen, eine Mainframe-Workload zurückzuziehen und die Daten in kostengünstigem Speicher zu halten, bietet Azure mehrere Speicheroptionen.

Die Migration von Workloads von einem Mainframe zu Azure als Teil des Anwendungsplattformwechsels oder der Neugestaltung erfordert in der Regel eine Datenmigration in großem Umfang. mLogica LIBER*IRIS bietet eine bewährte Lösung für die Massendatenmigration von einem Mainframe zu Azure. Die Lösung ermöglicht eine Migration von Unternehmensworkloads im großen Stil. In diesem Artikel wird beschrieben, wie IBM z/OS-Großrechnerdaten mit hoher Genauigkeit zu Azure migriert werden.

Aufbau

Das folgende Diagramm zeigt, wie mLogica LIBER*IRIS in Azure Komponenten integriert wird, um Großrechnerdaten zu Azure zu migrieren.

mLogica LIBER*IRIS und seine Logos sind Marken des Unternehmens. Die Verwendung dieser Marken impliziert keine Empfehlung.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Datenfluss

Der folgende Datenfluss entspricht dem vorherigen Diagramm:

1. Kopieren Sie DDL-Dateien (Data Definition Language), DbD-Dateien (Database Description), Copybooks, Datenlayouts und andere Datenbeschreibungsartefakte in einen Azure virtuellen Linux-Computer (VM), der mLogica-Datenmigrationsdiensttools ausführt. Verwenden Sie FTPS (File Transfer Protocol Secure) über ein sicheres Azure standortbasiertes virtuelles privates Netzwerk (VPN) oder Azure ExpressRoute.

2. Der mLogica LIBER*IRIS-Datenmigrationscluster generiert Datenextraktionsskripts, die auf dem Mainframe ausgeführt werden.

3. Verwenden Sie FTPS über das VPN, um die Datenextraktionsskripts zum Mainframe zu übertragen. Die FTPS-Verbindung konvertiert ASCII in das EBCDIC-Mainframeformat.

4. Die extrahierten Skripts werden auf dem Mainframe ausgeführt. Sie exportieren Daten aus mehreren Quellen in sequenzielle Dateien, bei denen alle verpackten Dezimaldaten entpackt werden. Sie generieren die SQL-Ladeskripts, die zum Laden der Daten in die Zieldatenbank verwendet werden.

5. Das System überträgt die sequenziellen Dateien und lädt Skripts mithilfe des binären Secure File Transfer Protocol (SFTP) in Azure Blob Storage. Die Großrechnerdaten bleiben in diesem Schritt im EBCDIC-Format.

6. Der mLogica-Datenmigrationsdienst führt die Ladeskripts aus, um EBCDIC in ASCII zu konvertieren. Die Skripts schreiben Fehler beim Laden in Azure Storage. Um Kosten zu senken, können Sie zwei Speicherkonten verwenden. Speichern Sie Datendateien auf einer Hot Access-Ebene und Protokolldateien auf einer Kaltzugriffsstufe.

7. Die Skripte laden die ASCII-konvertierten Daten aus sequentiellen Dateien in die Zieldatenbank auf Azure. Die Ladeskripts enthalten DDL-Befehle zum Erstellen von Tabellen und anderen Objekten sowie SQL-Abfragen zum Laden der Daten in diese Objekte. Skalieren Sie den Ladevorgang horizontal über einen Cluster hinweg, um den Durchsatz nach Bedarf zu maximieren. Ausführungsprotokolle und detaillierte Ausnahmeprotokolle werden zur weiteren Analyse in Blob Storage gespeichert.

8. Der mLogica LIBER*IRIS-Datenmigrationsdienst führt die Ladeskripts aus, um Daten aus dem relationalen Dateiformat in NoSQL Datenbankformat zu transformieren. Sie können diese NoSQL Daten mithilfe der Azure Cosmos DB SQL-API in Azure Cosmos DB laden.

Komponenten

Diese Lösung verwendet die folgenden Komponenten.

Netzwerk und Identität

• Azure VPN Gateway ist ein virtuelles Netzwerkgateway, das verschlüsselten Datenverkehr zwischen einem Azure virtuellen Netzwerk und einem lokalen Standort über das öffentliche Internet sendet. In dieser Architektur bietet VPN Gateway eine Alternative zu ExpressRoute für sichere Konnektivität zwischen der Mainframeumgebung und Azure.

• ExpressRoute ist ein Konnektivitätsdienst, der lokale Netzwerke über einen Konnektivitätsanbieter in Azure erweitert. In dieser Architektur bietet ExpressRoute eine sichere private Verbindung zum Übertragen von Datendefinitionsdateien und Extraktionsskripts zwischen dem Mainframe und Azure.

• Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit einem lokalen Verzeichnis synchronisiert werden kann. In dieser Architektur bietet Microsoft Entra ID die Authentifizierungs- und Zugriffssteuerung für den mLogica-Datenmigrationscluster und Azure Ressourcen.

Compute

• Azure Virtual Machines ist ein Computedienst, der On-Demand-, skalierbare Computerressourcen bereitstellt. In dieser Architektur wird der mLogica-Datenmigrationscluster auf Azure Linux-VMs ausgeführt, die für die Netzwerkleistung optimiert sind.

Datenbanken und Speicher

• Azure SQL, Azure Database for PostgreSQL und Azure Database for MySQL sind vollständig verwaltete Plattform als Dienstdienste (PaaS) für SQL Server, PostgreSQL und MySQL. In dieser Architektur bieten diese Dienste leistungsstarke und hochverfügbare Optionen für relationale Daten, emulierte nichtrelationale Daten und emulierte VSAM-Daten (Virtual Storage Access Method).

• Azure Cosmos DB ist ein vollständig verwalteter NoSQL Datenbankdienst mit geringer Latenz und flexibler Skalierbarkeit. In dieser Architektur werden nichtrelationale Großrechnerquellen wie Information Management System (IMS), Integrated Database Management System (IDMS) und adaptierbares Datenbanksystem (ADABAS) migriert.

• Blob Storage ist ein Cloudspeicherdienst, der hochverfügbar, im Ruhezustand verschlüsselt, kostengünstig und hochkapazitiv ist. In dieser Architektur unterstützt Blob Storage direkten binären SFTP-Datenverkehr vom Mainframe und kann Container auf Linux-VMs mithilfe von NFS 3.0 bereitstellen, um sequenzielle Dateien zu speichern und Skripts zu laden.

Überwachung

• Azure Monitor ist eine Überwachungsplattform, die Telemetriedaten aus Cloud- und lokalen Umgebungen sammelt, analysiert und verarbeitet. In dieser Architektur überwacht Azure Monitor den mLogica-Datenmigrationscluster und richtet Warnungen für proaktive Verwaltung ein.

  • Application Insights ist ein Azure Monitor Feature, das die Anwendungsleistung überwacht, indem Telemetrie gesammelt und analysiert wird. In dieser Architektur überwacht Application Insights den mLogica-Datenmigrationscluster auf Leistungseinblicke und Diagnosen.

  • Azure Monitor Logs ist ein Azure Monitor Feature, das Protokoll- und Leistungsdaten aus überwachten Ressourcen sammelt und organisiert. In dieser Architektur konsolidiert Azure Monitor Logs Daten aus mehreren Quellen in einem einzigen Arbeitsbereich, einschließlich Plattformlogs aus Azure-Diensten, Log- und Leistungsdaten von VM-Agenten sowie Nutzungs- und Leistungsdaten aus Anwendungen.

  • Log Analytics ist ein Azure Monitor Feature, mit dem Protokollabfragen ausgeführt werden, um die in Azure Monitor Protokollen gesammelten Daten zu verwenden. In dieser Architektur analysiert Log Analytics mLogica-Ausführungsskripte-Protokolle, die Blob Storage speichert. Es verwendet eine Abfragesprache, um Daten aus mehreren Tabellen zu verknüpfen, große Datenmengen zu aggregieren und komplexe Vorgänge auszuführen.

Details zum Szenario

In diesem Artikel wird beschrieben, wie Sie das mLogica-Produkt verwenden können, um Massendatenmigration von einem Mainframesystem zu Azure durchzuführen.

Mögliche Anwendungsfälle

Dieser Beispielworkload unterstützt zwei wichtige Anwendungsfälle:

• Workload replatforming oder refactoring: Verschiebung aller Großrechnerdaten bezogen auf die Arbeitslast von einem Mainframe nach Azure. Diese Daten umfassen Datenbanken wie DB2, IMS und IDMS sowie Dateien.

• Archivieren: Stilllegen Sie den Mainframe-Workload und speichern Sie die Daten in einer kostengünstigen Azure-Speicherlösung.

Überlegungen

Diese Überlegungen implementieren die Säulen des Azure Well-Architected-Frameworks, die eine Reihe von Leitsätzen sind, die Sie verwenden können, um die Qualität einer Arbeitsauslastung zu verbessern. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.

Sofern Sie keine besonderen Anforderungen haben, die Vorrang haben, sollten Sie die folgenden allgemeinen Empfehlungen befolgen:

• Erstellen Sie alle Azure Ressourcen für dieses Szenario in einer einzelnen Region, um die Netzwerklatenz zu reduzieren.

• Teilen Sie Daten in mehrere Dateien auf, und senden Sie sie parallel an Azure, anstatt eine einzelne große Datei vom Mainframe zu senden.

• Verwenden Sie Azure Monitor und Application Insights, um den mLogica-Datenmigrationscluster zu überwachen. Richten Sie Warnungen für die proaktive Verwaltung ein.

Verfügbarkeit

In diesem Beispielworkflow werden die Datenmigration von Mainframe-zu-Azure zum Replatformieren, Umgestalten oder Archivieren einer Workload beschrieben. Normalerweise führen Sie diesen diskreten Vorgang ein paar Mal während eines monatslangen Projekts aus. Dieses Szenario erfordert keine hohe Verfügbarkeit, aber Sie können den mLogica-Datenmigrationscluster so entwerfen, dass es eine hohe Verfügbarkeit bietet.

Azure Datenbankdienste unterstützen Zonenredundanz. Sie können Failover für Ausfalle und Wartungsfenster einrichten.

Sicherheit

Sicherheit bietet Sicherheitsmaßnahmen gegen bewusste Angriffe und den Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Prüfliste für die Sicherheits-Entwurfsüberprüfung. Allgemeine Anleitungen zum Entwerfen sicherer Lösungen finden Sie in der Azure-Sicherheitsdokumentation.

Datenbankdienste in Azure unterstützen verschiedene Sicherheitsoptionen.

• Verschlüsselung von Daten im Ruhezustand mithilfe von transparenter Datenverschlüsselung (TDE)

• Datenverschlüsselung während der Übertragung mithilfe von TLS (Transport Layer Security)

• Datenverschlüsselung während der Verarbeitung mithilfe von Always Encrypted mit sicheren Enklaven

Mithilfe von Microsoft Entra ID können Sie die Authentifizierung und Zugriffssteuerung auf dem mLogica-Datenmigrationscluster steuern. Sie können Azure Ressourcen für die Authentifizierung und Autorisierung einrichten, indem Sie Microsoft Entra ID und rollenbasierte Zugriffssteuerung (RBAC) verwenden.

TLS verschlüsselt Daten während der Übertragung zwischen dem mLogica-Datenmigrationscluster und dem Mainframe. Sie können TLS-Zertifikate in Azure Key Vault für erhöhte Sicherheit speichern. Secure Shell (SSH) verschlüsselt Daten während der Übertragung vom Mainframe zu Blob Storage.

Die Mainframedaten und Ladeskripts werden vorübergehend in Blob Storage gespeichert, wo sie im Ruhezustand verschlüsselt sind. Daten werden nach Abschluss der Migration aus Blob Storage gelöscht.

In diesem Beispielworkflow wird ExpressRoute oder site-to-site VPN für eine private und effiziente Verbindung mit Azure aus Ihrer lokalen Umgebung verwendet.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie in der Prüfliste zur Designüberprüfung für Kostenoptimierung.

• Skalieren, Anhalten und Fortsetzen von Computeressourcen mithilfe von Azure SQL-Datenbank serverless. Sie passt die Berechnung basierend auf der Workloadaktivität automatisch an, sodass Sie nur für die von Ihnen verwendeten Ressourcen bezahlen.

• Verwenden Sie eine Lifecycle-Verwaltungsrichtlinie, um Daten zwischen Zugriffsebenen in Azure Blob Storage zu verschieben.

  Verschieben Sie Daten von einer heißeren Zugriffsebene auf eine kühlere Ebene, wenn niemand über einen bestimmten Zeitraum darauf zugreift. Sie können Daten auch von einer kälteren Zugriffsebene in eine Archivzugriffsebene verschieben.

• Verwenden Sie Azure Advisor, um nicht verwendete Ressourcen zu finden. Lassen Sie sich Empfehlungen zum Neukonfigurieren oder Konsolidieren von Ressourcen geben, um Ihre Ausgaben zu reduzieren.

• Verwenden Sie den Azure Preisrechner, um Azure Komponentenkosten für diese Lösung zu schätzen.

Operative Exzellenz

Operational Excellence deckt die Betriebsprozesse ab, mit denen eine Anwendung bereitgestellt und in der Produktion ausgeführt wird. Weitere Informationen finden Sie unter Entwurfsprüfliste für Operational Excellence.

Sie können Azure DevOps verwenden, um in jeder Phase der Softwareentwicklung und Teamzusammenarbeit Mainframe-Anwendungen auf Azure neu zu gestalten. Azure DevOps bietet folgende Dienste:

• Azure Boards: Agile Planung, Nachverfolgung von Arbeitsaufgaben, Visualisierung und Berichterstellung.

• Azure Pipelines: Eine sprach-, plattform- und cloudunabhängige Plattform für kontinuierliche Integration und kontinuierliche Bereitstellung (CI/CD), die Container oder Kubernetes unterstützt.

• Azure Repos: In der Cloud gehostete private Git-Repositorys.

• Azure Artifacts: Integrierte Paketverwaltung, die Maven-, npm-, Python- und NuGet-Paketfeeds aus öffentlichen oder privaten Quellen unterstützt.

• Azure Test Plans: Eine integrierte geplante und explorative Testlösung.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Arbeitslast, die Anforderungen der Benutzer effizient zu skalieren und zu erfüllen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.

Verwenden Sie die folgenden Empfehlungen, um die Leistungseffizienz zu verbessern:

• Stellen Sie den mLogica-Datenmigrationscluster auf mehreren virtuellen Computern bereit, wenn Sie mehrere große unabhängige Datasets migrieren, um die Datenladegeschwindigkeit zu maximieren. Sie können mehrere Datasets parallel vom Mainframe in Blob Storage hochladen.

• Erwägen Sie SQL-Datenbank serverlos zur automatischen Skalierung basierend auf der Arbeitsauslastung. Sie können andere Azure Datenbanken nach oben und unten skalieren, indem Sie die Automatisierung verwenden, um Ihre Workloadanforderungen zu erfüllen. Weitere Informationen finden Sie unter Automatische Skalierung.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

• Sandip Khandelwal | Principal Engineering Architect

Um nicht-öffentliche LinkedIn-Profile zu sehen, melden Sie sich bei LinkedIn an.

Nächste Schritte

Überprüfen Sie die Azure Datenbankmigrationshandbücher.

Bei Fragen wenden Sie sich an Azure Data Engineering - Mainframe und Midrange-Modernisierung.

• Azure Monitor Übersicht
• Einführung in Blob Storage
• mLogica LIBER*IRIS
• Quickstart: Erstellen Einer Linux-VM im Azure-Portal
• VMs in Azure
• Azure Cosmos DB Übersicht

Zugehörige Ressourcen

• Analytics end-to-end mit Microsoft Fabric
• Modernisieren von Mainframe- und Midrangedaten
• Rehost ADABAS und Natürliche Anwendungen in Azure