在 Azure 数据工厂 或 Synapse Analytics 中使用脚本活动转换数据

适用于： Azure 数据工厂 Azure Synapse Analytics

可使用数据工厂或 Synapse Analytics 管道中的数据转换活动将原始数据转换和处理为预测和见解。 脚本活动是管道支持的转换活动之一。 本文基于转换数据一文编写，它概述了数据转换和受支持的转换活动。

通过脚本活动，可使用数据操作语言 (DML) 和数据定义语言 (DDL) 执行常见操作。 DML 语句（如 INSERT、UPDATE、DELETE 和 SELECT）允许用户在数据库中插入、修改、删除和检索数据。 数据库管理员可使用 CREATE、ALTER 和 DROP 等 DDL 语句创建、修改和删除数据库对象，例如表、索引和用户。

可以使用脚本活动在企业中的以下数据存储之一或Azure虚拟机（VM）中调用 SQL 脚本：

• Azure Database for PostgreSQL （版本 2.0）
• Azure SQL 数据库
• Azure Synapse Analytics
• SQL Server数据库。 如果使用 SQL Server，请在托管数据库的同一台计算机或有权访问数据库的单独计算机上安装自承载集成运行时。 Self-Hosted 集成运行时是一个组件，它以安全且托管的方式将本地/Azure VM 上的数据源与云服务连接起来。 有关详细信息，请参阅自承载集成运行时一文。
• Oracle
• Snowflake

此脚本可以包含单个 SQL 语句，也可以包含按顺序运行的多个 SQL 语句。 可以将脚本任务用于下列目的：

• 截断表以便为插入数据作准备。
• 创建、更改和删除数据库对象（如表和视图）。
• 在向事实数据表和维度表加载数据之前，重新创建这些表。
• 运行存储过程。 如果 SQL 语句调用从临时表返回结果的某一存储过程，则使用 WITH RESULT SETS 选项可为结果集定义元数据。
• 将查询返回的行集另存为活动输出，以供下游使用。

语法详细信息

下面是用于定义脚本活动的 JSON 格式：

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

下表描述了其中的 JSON 属性：

活动输出

示例输出：

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

使用 UI 配置脚本活动

内联脚本

内联脚本可与管道 CI/CD 很好地集成，因为脚本作为管道元数据的一部分存储。

日志记录

日志记录选项：

• 禁用 - 不记录任何执行输出。
• 活动输出 - 脚本执行输出将追加到活动输出。 然后，下游活动可以使用它。 输出大小限制为 4 MB。
• 外部存储 - 将输出持久保存到存储。 如果输出大小大于 2 MB，或者你要将输出显式保存到存储帐户，请使用此选项。

相关内容

参阅以下文章了解如何以其他方式转换数据：

• U-SQL 活动
• Hive 活动
• Pig 活动
• MapReduce 活动
• Hadoop 流式处理活动
• Spark 活动
• .NET自定义活动
• 存储过程活动