你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
本教程演示如何使用流分析无代码编辑器计算实时数据流的聚合并将其存储在 Azure Synapse Analytics 中。
在本教程中,你将了解:
- 如何部署用于将数据发送到事件中心的事件生成器
- 使用无代码编辑器创建流分析作业
- 审查输入数据和架构
- 选择分组字段并定义计数等聚合条件
- 配置结果写入到的 Azure Synapse Analytics
- 运行流分析作业
- 在 Power BI 中将数据可视化
先决条件
在开始之前,请确保完成以下步骤:
- 如果还没有 Azure 订阅,可以创建一个免费帐户。
- 将 TollApp 事件生成器部署到 Azure。 使用此链接 部署 TollApp Azure 模板。 将
interval参数设置为 1。 为此步骤使用新的资源组。 - 创建带有专用 SQL 池的 Azure Synapse Analytics 工作区。
- 使用专用 SQL 池创建名为
carsummary。 运行以下 SQL 脚本:CREATE TABLE carsummary ( Make nvarchar(20), CarCount int, times datetime ) WITH ( CLUSTERED COLUMNSTORE INDEX ) ;
使用无代码编辑器创建流分析作业
找到部署 TollApp 事件生成器的资源组。
选择 Azure 事件中心命名空间。
在“事件中心命名空间”页上,在左侧菜单中的“实体”下选择“事件中心”。
选择
entrystream实例。在“功能”部分下,转到“处理数据”,然后选择“从空白画布开始”模板上的“开始”。
将作业命名为“
carsummary”,然后选择“创建”。在“事件中心”配置页上,确认以下设置,然后选择“连接”。
几秒钟内,会看到示例输入数据和架构。 可以选择删除字段、重命名或更改数据类型。
在命令栏上选择操作,然后选择分组依据。
选择画布上的“分组依据”磁贴并将其连接到事件中心磁贴。
通过指定以下内容来配置“分组依据”磁贴:
选择“分组依据”选项,然后注意页面底部“数据预览”选项卡中的分组数据。
在命令栏上,选择“操作”,然后选择“管理字段”。
将“分组依据”与“管理字段”磁贴相连。
在“管理字段”页面上,按照以下步骤操作:
在“管理字段”配置页上选择“添加所有字段”。
选择字段旁边的“...”,然后选择“编辑”以重命名这些字段。
在管理字段页面上选择完成。 “管理字段”页现在应如下图所示。
选择管理字段磁贴,并在页面底部的数据预览选项卡中查看流入操作的数据。
在命令栏上,选择“输出”,然后选择“Synapse”。
在画布上将“Synapse”磁贴连接到“管理字段”磁贴。
在“Synapse”设置页面上,按照以下步骤操作:
选择“Synapse”磁贴,并查看页面底部的“数据预览”选项卡。 你可以看到流入专用 SQL 池的数据。
在“启动流分析作业”页面上,选择启动来运行作业。
然后,你将看到使用无代码编辑器创建的所有流分析作业的列表。 在两分钟内,您的作业会切换到[c0]正在运行[/c0]状态。 选择页面上的 “刷新 ”按钮,查看“已创建 -> 开始 -> 正在运行”状态更改。
创建 Power BI 可视化效果
下载最新版本的 Power BI Desktop。
使用适用于 Azure Synapse SQL 的 Power BI 连接器。
使用 DirectQuery 连接到数据库,并使用此查询从数据库提取数据
SELECT [Make],[CarCount],[times] FROM [dbo].[carsummary] WHERE times >= DATEADD(day, -1, GETDATE())切换到 “数据库 ”选项卡,并输入凭据(用户名和密码)以连接到数据库并运行查询。
选择“ 加载 ”以将数据加载到 Power BI 中。
然后,您可以创建一个折线图。
- X 轴作为 times
- Y 轴作为 CarCount
- 图例使你看到可以发布的图表。 可以配置自动页面刷新,将其设置为 3 分钟,以获取实时视图。
更多选项
除了 Azure Synapse SQL,还可以使用 SQL 数据库作为无代码编辑器输出来接收流数据。 然后使用 Power BI 连接器,通过 DirectQuery 连接到您的 SQL 数据库,以构建实时仪表板。
使用流式处理数据构建实时仪表板也是一个不错的选择。 有关 SQL 数据库输出的详细信息,请参阅转换和引入到 SQL 数据库。
清理资源
- 找到事件中心实例,并在“ 进程数据 ”部分下查看流分析作业的列表。 停止所有正在运行的作业。
- 转到在部署 TollApp 事件生成器时使用的资源组。
- 选择“删除资源组” 。 若要确认删除,请键入资源组的名称。
后续步骤
本教程使用无代码编辑器定义聚合并将结果写入 Azure Synapse Analytics,创建了流分析作业。 然后,你使用 Power BI 生成实时仪表板以查看作业生成的结果。