Azure Data Factory和Azure Synapse Analytics中的 Web 活动

适用于： Azure Data Factory Azure Synapse Analytics

Web 活动可用于从Azure Data Factory或 Synapse 管道调用自定义 REST 终结点。 你可以传递活动要使用和访问的数据集及链接服务。

使用 UI 创建 Web 活动

要在管道中使用 Web 活动，请完成以下步骤：

1. 在管道“活动”窗格中搜索“Web”，然后将 Web 活动拖动到管道画布上。

2. 选择画布上的新 Web 活动（如果尚未选择）及其 “设置 ”选项卡以编辑其详细信息。

   

3. 指定一个 URL，它可以是文本 URL 字符串，也可以是动态表达式、函数、系统变量或其他活动的输出的任意组合。 提供要与请求一起提交的其他详细信息。

4. 将活动的输出用作任何其它活动的输入，并在目标活动中支持动态内容的任何位置引用输出。

语法

{
   "name":"MyWebActivity",
   "type":"WebActivity",
   "typeProperties":{
      "method":"Post",
      "url":"<URLEndpoint>",
      "httpRequestTimeout": "00:01:00"
      "connectVia": {
          "referenceName": "<integrationRuntimeName>",
          "type": "IntegrationRuntimeReference"
      }
      "headers":{
         "Content-Type":"application/json"
      },
      "authentication":{
         "type":"ClientCertificate",
         "pfx":"****",
         "password":"****"
      },
      "datasets":[
         {
            "referenceName":"<ConsumedDatasetName>",
            "type":"DatasetReference",
            "parameters":{
               ...
            }
         }
      ],
      "linkedServices":[
         {
            "referenceName":"<ConsumedLinkedServiceName>",
            "type":"LinkedServiceReference"
         }
      ]
   }
}

类型属性

下表显示了 JSON 上下文的要求：

身份验证

下面是 Web 活动中支持的身份验证类型。

无

如果不需要身份验证，请不要包含“authentication”属性。

基本

指定用户名和密码以用于基本身份验证。

"authentication":{
   "type":"Basic",
   "username":"****",
   "password":"****"
}

客户端证书

指定 base64 编码的 PFX 文件内容和密码。

"authentication":{
   "type":"ClientCertificate",
   "pfx":"****",
   "password":"****"
}

证书需要是 x509 证书。 要转换为 PFX 文件，可以使用你喜欢的实用工具。 对于 base-64 编码，可以使用以下 PowerShell 代码片段。

$fileContentBytes = get-content 'enr.dev.webactivity.pfx' -AsByteStream

[System.Convert]::ToBase64String($fileContentBytes) | Out-File ‘pfx-encoded-bytes.txt’

托管标识

使用数据工厂或 Synapse 工作区实例的托管标识指定要为其请求访问令牌的资源 URI。 若要调用Azure资源管理 API，请使用 https://management.azure.com/。 有关托管标识的工作原理的详细信息，请参阅 Azure 资源概述页的 托管标识页。

"authentication": {
	"type": "MSI",
	"resource": "https://management.azure.com/"
}

服务主体

指定租户 ID、服务主体 ID 和服务主体密钥，并使用安全字符串作为客户端机密。

"authentication": {
            "type": "ServicePrincipal",
            "tenant": "your_tenant_id",
            "servicePrincipalId": "your_client_id",
            "servicePrincipalKey": {
                "type": "SecureString",
                "value": "your_client_secret"
            },
            "resource": "https://management.azure.com/"
}

请求有效负载架构

当使用 POST/PUT 方法时，正文属性表示发送到终结点的有效负载。 可以将链接服务和数据集作为有效负载的一部分进行传递。 以下是有效负载的架构：

{
    "body": {
        "myMessage": "Sample",
        "datasets": [{
            "name": "MyDataset1",
            "properties": {
                ...
            }
        }],
        "linkedServices": [{
            "name": "MyStorageLinkedService1",
            "properties": {
                ...
            }
        }]
    }
}

示例

在此示例中，管道中的 Web 活动调用了 REST 终结点。 它将Azure SQL链接服务和Azure SQL数据集传递给终结点。 REST 终结点使用 Azure SQL 连接字符串连接到逻辑 SQL 服务器，并返回 SQL 服务器实例的名称。

管道定义

{
    "name": "<MyWebActivityPipeline>",
    "properties": {
        "activities": [
            {
                "name": "<MyWebActivity>",
                "type": "WebActivity",
                "typeProperties": {
                    "method": "Post",
                    "url": "@pipeline().parameters.url",
                    "headers": {
                        "Content-Type": "application/json"
                    },
                    "authentication": {
                        "type": "ClientCertificate",
                        "pfx": "*****",
                        "password": "*****"
                    },
                    "datasets": [
                        {
                            "referenceName": "MySQLDataset",
                            "type": "DatasetReference",
                            "parameters": {
                                "SqlTableName": "@pipeline().parameters.sqlTableName"
                            }
                        }
                    ],
                    "linkedServices": [
                        {
                            "referenceName": "SqlLinkedService",
                            "type": "LinkedServiceReference"
                        }
                    ]
                }
            }
        ],
        "parameters": {
            "sqlTableName": {
                "type": "String"
            },
            "url": {
                "type": "String"
            }
        }
    }
}

管道参数值

{
    "sqlTableName": "department",
    "url": "https://adftes.azurewebsites.net/api/execute/running"
}

Web 服务终结点代码

[HttpPost]
public HttpResponseMessage Execute(JObject payload)
{
    Trace.TraceInformation("Start Execute");

    JObject result = new JObject();
    result.Add("status", "complete");

    JArray datasets = payload.GetValue("datasets") as JArray;
    result.Add("sinktable", datasets[0]["properties"]["typeProperties"]["tableName"].ToString());

    JArray linkedServices = payload.GetValue("linkedServices") as JArray;
    string connString = linkedServices[0]["properties"]["typeProperties"]["connectionString"].ToString();

    System.Data.SqlClient.SqlConnection sqlConn = new System.Data.SqlClient.SqlConnection(connString);

    result.Add("sinkServer", sqlConn.DataSource);

    Trace.TraceInformation("Stop Execute");

    return this.Request.CreateResponse(HttpStatusCode.OK, result);
}

相关内容

参阅支持的其他控制流活动：

• 执行管道活动
• 循环活动
• 获取元数据活动
• 查找活动