Kopieren und Transformieren von Daten in Azure Database for PostgreSQL mithilfe von Azure Data Factory oder Synapse Analytics

Gilt für: Azure Data Factory Azure Synapse Analytics

In diesem Artikel wird beschrieben, wie Sie die Kopieraktivität in Pipelines von Azure Data Factory und Synapse Analytics verwenden, um Daten aus und in Azure Database for PostgreSQL zu kopieren. Und wie Sie Datenfluss zum Transformieren von Daten in Azure Database for PostgreSQL verwenden. Weitere Informationen finden Sie in den Einführungsartikeln für Azure Data Factory und Synapse Analytics.

Dieser Connector ist auf den Azure Database for PostgreSQL-Dienst spezialisiert. Wenn Sie Daten aus einer generischen PostgreSQL-Datenbank in der lokalen Umgebung oder in der Cloud kopieren möchten, verwenden Sie den PostgreSQL-Connector.

Unterstützte Funktionen

Dieser Azure Database for PostgreSQL Connector wird für die folgenden Funktionen unterstützt:

(1) Azure Integrationslaufzeit (2) Selbst gehostete Integrationslaufzeit

Die drei Aktivitäten arbeiten an Azure Database for PostgreSQL Single Server, Flexible Server und Azure Cosmos DB für PostgreSQL.

Erste Schritte

Zum Ausführen der Kopieraktivität mit einer Pipeline können Sie eines der folgenden Tools oder SDKs verwenden:

• Datenkopier-Werkzeug
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• Azure Resource Manager Vorlage

Erstellen eines verknüpften Diensts zum Azure Database for PostgreSQL mithilfe der Benutzeroberfläche

Führen Sie die folgenden Schritte aus, um einen verknüpften Service für Azure-Datenbank für PostgreSQL im Azure-Portal zu erstellen.

1. Navigieren Sie in Ihrem Azure Data Factory- oder Synapse-Arbeitsbereich zur Registerkarte "Verwalten", und wählen Sie "Verknüpfte Dienste" und dann "Neu" aus:

   • Azure Data Factory
   • Azure Synapse

   

2. Suchen Sie nach PostgreSQL, und wählen Sie die Azure Datenbank für Den PostgreSQL-Connector aus.

   

3. Konfigurieren Sie die Dienstdetails, testen Sie die Verbindung, und erstellen Sie den neuen verknüpften Dienst.

   

Details zur Connectorkonfiguration

Die folgenden Abschnitte enthalten Details zu Eigenschaften, die zum Definieren von Data Factory-Entitäten verwendet werden, die für Azure Database for PostgreSQL Connector spezifisch sind.

Eigenschaften des verknüpften Diensts

Die Azure Database for PostgreSQL Connectorversion 2.0 unterstützt transport Layer Security (TLS) 1.3 und mehrere SSL-Modi (Secured Socket Layer). Verweisen Sie auf diesen Abschnitt, um die Azure SQL-Datenbank Connectorversion von Version 1.0 zu aktualisieren. Einzelheiten zur Eigenschaft finden Sie in den entsprechenden Abschnitten.

• Version 2.0
• Version 1.0

Version 2.0

Die folgenden Eigenschaften werden für den Azure Database for PostgreSQL verknüpften Dienst unterstützt, wenn Sie Version 2.0 anwenden:

Standardauthentifizierung

Beispiel:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        }
    }
}

Beispiel:

Passwort in Azure Key Vault speichern

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": "5432",
            "database": "<database name>",
            "sslMode": 2,
            "username": "<user name>",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Authentifizierung mit systemseitig zugewiesener verwalteter Identität

Ein Data Factory- oder Synapse-Arbeitsbereich kann einer System zugewiesenen verwalteten Identität zugeordnet werden, die den Dienst darstellt, wenn er bei anderen Ressourcen in Azure authentifiziert wird. Sie können diese verwaltete Identität für Azure Datenbank für die PostgreSQL-Authentifizierung verwenden. Die angegebenen Factory oder Synapse Arbeitsbereiche können mittels dieser Identität auf Daten zugreifen und Daten aus der oder in die Datenbank kopieren.

Führen Sie die schritte aus, um vom System zugewiesene verwaltete Identität zu verwenden:

1. Eine Datenfabrik oder ein Synapse-Arbeitsbereich kann einer vom System zugewiesenen verwalteten Identität zugeordnet werden. Weitere Informationen, Generieren von vom System zugewiesener verwalteter Identität

2. Die Azure Daten für PostgreSQL mit vom System zugewiesener verwalteter Identität On.

   

3. In Ihrer Azure Database for PostgreSQL-Ressource unter Sicherheit

   1. Authentifizierung auswählen

   2. Wählen Sie entweder nur Microsoft Entra-Authentifizierung oder PostgreSQL und Microsoft Entra-Authentifizierung-Authentifizierungsmethode aus.

   3. Wählen Sie + Microsoft Entra-Administratoren hinzufügen

   4. Fügen Sie die vom System zugewiesene verwaltete Identität für die Azure Data Factory-Ressource als eine der Microsoft Entra Administratoren hinzu.

      

4. Konfigurieren Sie eine Azure-Datenbank für den mit PostgreSQL verknüpften Dienst.

Beispiel:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "SystemAssignedManagedIdentity"
        }
    }
}

Authentifizierung mit einer benutzerseitig zugewiesenen verwalteten Identität

Ein Data Factory- oder Synapse-Arbeitsbereich kann einer benutzerdefinierten verwalteten Identität zugeordnet werden, die den Dienst darstellt, wenn er gegenüber anderen Ressourcen in Azure authentifiziert wird. Sie können diese verwaltete Identität für Azure Datenbank für die PostgreSQL-Authentifizierung verwenden. Die angegebenen Factory oder Synapse Arbeitsbereiche können mittels dieser Identität auf Daten zugreifen und Daten aus der oder in die Datenbank kopieren.

Um die vom Benutzer zugewiesene verwaltete Identitätsauthentifizierung zu verwenden, geben Sie zusätzlich zu den im vorherigen Abschnitt beschriebenen allgemeinen Eigenschaften die folgenden Eigenschaften an:

Sie müssen auch die Schritte ausführen:

1. Stellen Sie sicher, dass Sie eine Benutzer zugewiesene verwaltete Identität-Ressource im Azure-Portal erstellen. Weitere Informationen finden Sie unter Verwalten von vom Benutzer zugewiesenen verwalteten Identitäten

2. Weisen Sie die benutzerzugewiesene verwaltete Identität Ihrer Azure-Datenbank für die PostgreSQL-Ressource zu.

   1. In Ihrer Azure-Datenbank für die PostgreSQL-Serverressource unter Security

   2. Authentifizierung auswählen

   3. Überprüfen Sie, ob die Authentifizierungsmethode nur Microsoft Entra Authentifizierung oder PostgreSQL und Microsoft Entra Authentifizierung ist

   4. Wählen Sie + Microsoft Entra-Administratoren hinzufügen und wählen Sie Ihre vom Benutzer zugewiesene verwaltete Identität aus.

      

3. Weisen Sie die Benutzer zugewiesene verwaltete Identität Ihrer Azure Data Factory-Ressource zu.

   1. Wählen Sie "Einstellungen" und dann "Verwaltete Identitäten" aus.

   2. Unter der Registerkarte "Benutzer zugewiesen" wählen Sie den Link + Hinzufügen aus und wählen Sie Ihre benutzerverwaltete Identität aus.

      

4. Konfigurieren Sie eine Azure-Datenbank für den mit PostgreSQL verknüpften Dienst.

Beispiel:

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "authenticationType": "UserAssignedManagedIdentity",
            "credential": {
                "referenceName": "<your credential>",
                "type": "CredentialReference"
            }
        }
    }
}

Dienstprinzipalauthentifizierung

Beispiel:

Dienstprinzipalschlüssel

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalKey": "<service principal key>"
        }
    }
}

Beispiel:

Dienstprinzipalzertifikat

{
    "name": "AzurePostgreSqlLinkedService",
    "type": "Microsoft.DataFactory/factories/linkedservices",
    "properties": {
        "annotations": [],
        "type": "AzurePostgreSql",
        "version": "2.0",
        "typeProperties": {
            "server": "<server name>",
            "port": 5432,
            "database": "<database name>",
            "sslMode": 2,
            "username": "<service principal name>",
            "authenticationType": "<authentication type>",
            "tenant": "<tenant>",
            "servicePrincipalId": "<service principal ID>",
            "azureCloudType": "<azure cloud type>",
            "servicePrincipalCredentialType": "<service principal type>",
            "servicePrincipalEmbeddedCert": "<service principal certificate>",
            "servicePrincipalEmbeddedCertPassword": "<service principal embedded certificate password>"
        }
    }
}

Version 1.0

Die folgenden Eigenschaften werden für den Azure Database for PostgreSQL verknüpften Dienst unterstützt, wenn Sie Version 1.0 anwenden:

Ein typischer Verbindungszeichenfolge ist host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>. Weitere Eigenschaften, die Sie für Ihren Fall festlegen können:

Beispiel:

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;password=<password>"
        }
    }
}

Beispiel:

Kennwort in Azure Key Vault speichern

{
    "name": "AzurePostgreSqlLinkedService",
    "properties": {
        "type": "AzurePostgreSql",
        "version": "1.0",
        "typeProperties": {
            "connectionString": "host=<server>.postgres.database.azure.com;database=<database>;port=<port>;uid=<username>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        }
    }
}

Dataset-Eigenschaften

Eine vollständige Liste mit den Abschnitten und Eigenschaften, die zum Definieren von Datasets zur Verfügung stehen, finden Sie im Artikel zu Datasets. Dieser Abschnitt enthält eine Liste der Eigenschaften, die von Azure Database for PostgreSQL in Datensätzen unterstützt werden.

Um Daten aus Azure Database for PostgreSQL zu kopieren, legen Sie die Typeigenschaft des Datasets auf AzurePostgreSqlTable fest. Folgende Eigenschaften werden unterstützt:

Beispiel:

{
    "name": "AzurePostgreSqlDataset",
    "properties": {
        "type": "AzurePostgreSqlTable",
        "linkedServiceName": {
            "referenceName": "<AzurePostgreSql linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "schema": "<schema_name>",
            "table": "<table_name>"
        }
    }
}

Eigenschaften der Kopieraktivität

Eine vollständige Liste der verfügbaren Abschnitte und Eigenschaften zum Definieren von Aktivitäten finden Sie unter Pipelines. Dieser Abschnitt enthält eine Liste von Eigenschaften, die von einer Azure Database for PostgreSQL Quelle unterstützt werden.

Azure Datenbank für PostgreSql als Quelle

Um Daten aus Azure Database for PostgreSQL zu kopieren, legen Sie den Quelltyp in der Kopieraktivität auf AzurePostgreSqlSource fest. Folgende Eigenschaften werden im Abschnitt source der Kopieraktivität unterstützt:

Beispiel:

"activities":[
    {
        "name": "CopyFromAzurePostgreSql",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<AzurePostgreSql input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "AzurePostgreSqlSource",
                "query": "<custom query e.g. SELECT * FROM mytable>",
                "queryTimeout": "00:10:00"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Azure Database for PostgreSQL als Senke

Um Daten in Azure Database for PostgreSQL zu kopieren, legen Sie den Sinktyp in der Kopieraktivität auf SqlSink fest. Folgende Eigenschaften werden im Abschnitt sink der Kopieraktivität unterstützt:

Beispiel 1: Befehl kopieren

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSqlSink",
                "preCopyScript": "<custom SQL script>",
                "writeMethod": "CopyCommand",
                "writeBatchSize": 1000000
            }
        }
    }
]

Beispiel 2: Upsert von Daten

"activities":[
    {
        "name": "CopyToAzureDatabaseForPostgreSQL",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Azure PostgreSQL output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "AzurePostgreSQLSink",
                "writeMethod": "Upsert",
                "upsertSettings": {
                    "keys": [
                        "<column name>"
                    ]
                },
            }
        }
    }
]

Daten-Update durchführen

Die Copy-Aktivität unterstützt Upsert‑Operationen nativ. Um ein Upsert durchzuführen, sollte der Benutzer Schlüsselspalten bereitstellen, die entweder Primärschlüssel oder eindeutige Spalten sind. Wenn der Benutzer keine Schlüsselspalten bereitstellt, werden Primärschlüsselspalten in der Senkentabelle verwendet. Kopieraktivität aktualisiert nicht schlüsselbezogene Spalten in der Sinktabelle, wobei die Schlüsselspaltenwerte mit denen in der Quelltabelle übereinstimmen; andernfalls werden neue Daten eingefügt.

Parallele Kopie aus Azure Database for PostgreSQL

Der Connector für Azure SQL-Datenbank in der Kopieraktivität verfügt über eine integrierte Datenpartitionierung zum parallelen Kopieren von Daten. Die Datenpartitionierungsoptionen befinden sich auf der Registerkarte Quelle der Kopieraktivität.

Wenn Sie partitionierte Kopie aktivieren, führt kopieraktivität parallele Abfragen für Ihre Azure Database for PostgreSQL Quelle aus, um Daten nach Partitionen zu laden. Der Parallelitätsgrad wird über die Einstellung parallelCopies der Kopieraktivität gesteuert. Wenn Sie z. B. parallelCopies auf vier festlegen, generiert der Dienst parallel vier Abfragen basierend auf Ihrer angegebenen Partitionsoption und -einstellungen, und jede Abfrage ruft einen Teil der Daten aus Ihrer Azure Database for PostgreSQL ab.

Sie werden empfohlen, parallele Kopie mit Datenpartitionierung zu aktivieren, insbesondere wenn Sie eine große Datenmenge aus Ihrem Azure Database for PostgreSQL laden. Im Anschluss finden Sie empfohlene Konfigurationen für verschiedene Szenarien. Beim Kopieren von Daten in einen dateibasierten Datenspeicher empfiehlt es sich, in einen Ordner als mehrere Dateien zu schreiben (nur den Ordnernamen angeben), in diesem Fall ist die Leistung besser als das Schreiben in eine einzelne Datei.

Bewährte Methoden zum Laden von Daten mit Partitionierungsoption:

1. Wählen Sie eine aussagekräftige Spalte als Partitionsspalte (wie Primärschlüssel oder eindeutiger Schlüssel), um Datenabweichungen zu vermeiden.
2. Wenn die Tabelle eine integrierte Partition aufweist, verwenden Sie die Partitionsoption „Physikalische Partitionen der Tabelle“, um eine bessere Leistung zu erzielen.
3. Wenn Sie Azure Integration Runtime zum Kopieren von Daten verwenden, können Sie größere "Data Integration Units (DIU)" (>4) festlegen, um weitere Rechenressourcen zu nutzen. Prüfen Sie dort die anwendbaren Szenarien.
4. "Der Grad der Kopierparallelität bestimmt die Partitionsnummern. Eine zu große Zahl kann manchmal die Leistung beeinträchtigen." Empfehlen Sie, diese Zahl als (DIU oder Anzahl von selbst gehosteten IR-Knoten) * (2 bis 4) festzulegen.

Beispiel: Vollständiges Laden aus einer großen Tabelle mit physischen Partitionen

"source": {
    "type": "AzurePostgreSqlSource",
    "partitionOption": "PhysicalPartitionsOfTable"
}

Beispiel: Abfrage mit dynamischer Bereichspartition

"source": {
    "type": "AzurePostgreSqlSource",
    "query": "SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column (optional) to decide the partition stride, not as data filter>",
        "partitionLowerBound": "<lower_value_of_partition_column (optional) to decide the partition stride, not as data filter>"
    }
}

Eigenschaften von Mapping Data Flow

Beim Transformieren von Daten im Zuordnungsdatenfluss können Sie Tabellen aus Azure Database for PostgreSQL lesen und in diese schreiben. Weitere Informationen finden Sie unter Quellentransformation und Senkentransformation in Zuordnungsdatenflüssen. Sie können ein Azure Database for PostgreSQL-Dataset oder ein Inlinedataset als Quell- und Senkentyp verwenden.

Quellentransformation

In der folgenden Tabelle sind die von Azure Database for PostgreSQL Quelle unterstützten Eigenschaften aufgeführt. Sie können diese Eigenschaften auf der Registerkarte Quelloptionen bearbeiten.

Beispiel für Azure Database for PostgreSQL Quellskript

Wenn Sie Azure Database for PostgreSQL als Quelltyp verwenden, lautet das zugeordnete Datenflussskript:

source(allowSchemaDrift: true,
    validateSchema: false,
    isolationLevel: 'READ_UNCOMMITTED',
    query: 'select * from mytable',
    format: 'query') ~> AzurePostgreSQLSource

Senkentransformation

In der folgenden Tabelle sind die Eigenschaften aufgeführt, die von Azure Database for PostgreSQL Sink unterstützt werden. Sie können diese Eigenschaften auf der Registerkarte Senkenoptionen bearbeiten.

• Inkrementelles Extrahieren aktivieren: Verwenden Sie diese Option, um ADF anweisen, nur Zeilen zu verarbeiten, die seit der letzten Ausführung der Pipeline geändert wurden.

• Inkrementelle Spalte: Wenn Sie die inkrementelle Extraktfunktion verwenden, müssen Sie die Datums-/Uhrzeitspalte oder numerische Spalte auswählen, die Sie als Wasserzeichen in der Quelltabelle verwenden möchten.

• Beginnen Sie mit dem Lesen von Anfang: Wenn Sie diese Option mit inkrementeller Extraktion festlegen, weist dies ADF an, bei der ersten Ausführung einer Pipeline mit aktivierter inkrementeller Extraktion alle Zeilen zu lesen.

Azure Database for PostgreSQL: Beispiel für ein Senkenskript

Wenn Sie Azure Database for PostgreSQL als Sinktyp verwenden, lautet das zugehörige Datenflussskript:

IncomingStream sink(allowSchemaDrift: true,
    validateSchema: false,
    deletable:false,
    insertable:true,
    updateable:true,
    upsertable:true,
    keys:['keyColumn'],
    format: 'table',
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> AzurePostgreSqlSink

Skriptaktivität

Weitere Informationen zur Skriptaktivität finden Sie unter Skriptaktivität.

Eigenschaften der Lookup-Aktivität

Weitere Informationen zu den Eigenschaften finden Sie unter Lookup-Aktivität in Azure Data Factory.

Azure Database für PostgreSQL-Connector aktualisieren

Wählen Sie auf der Seite "Verknüpften Dienst bearbeiten " die Option 2.0 unter "Version " aus, und konfigurieren Sie den verknüpften Dienst, indem Sie auf die Verknüpften Diensteigenschaften Version 2.0 verweisen.

Verwandte Inhalte

Eine Liste der Datenspeicher, die als Quellen und Senken für die Kopieraktivität unterstützt werden, finden Sie unter Unterstützte Datenspeicher.