你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure Data Factory和Azure Synapse Analytics中的Iceberg格式

适用于： Azure Data Factory Azure Synapse Analytics

提示

Microsoft Fabric 中的 Data Factory 是下一代 Azure Data Factory，具有更加简化的架构、内置人工智能和新功能。 如果不熟悉数据集成，请从Fabric数据工厂开始。 现有 ADF 工作负载可以升级到 Fabric，以跨数据科学、实时分析和报告访问新功能。

若要将数据写入 Iceberg 格式，请按照本文的说明操作。

以下连接器支持 Iceberg 格式：

可以在 Copy activity 中使用 Iceberg 数据集。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Iceberg 格式数据集支持的属性列表。

properties 描述 必需
类型 数据集的类型属性必须设置为 Iceberg。 是
位置 文件的位置配置。 每个基于文件的连接器在 location 下都有其自己的位置类型和支持的属性。 是

下面是 Azure Data Lake Storage Gen2 上的 Iceberg 数据集示例：

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Iceberg 接收器支持的属性列表。

Iceberg 作为接收器

复制活动的 *sink* 部分支持以下属性。

properties 描述 必需
类型 复制活动源的类型属性必须设置为 IcebergSink。 是
格式设置 一组属性。 请参阅下面的“Iceberg 写入设置”表。 否
存储设置 有关如何将数据写入到数据存储的一组属性。 每个基于文件的连接器在 storeSettings 下都有其自身支持的写入设置。 否

下支持的 formatSettings：

properties 描述 必需
类型 formatSettings 的类型必须设置为 IcebergWriteSettings。 是

下面是与带分隔符的文本格式相关的一些常见连接器和格式：

相关内容

  • Last updated on