Processar dados do seu hub de eventos usando o Azure Stream Analytics

O serviço Azure Stream Analytics facilita a ingestão, o processamento e a análise de dados de streaming dos Hubs de Eventos do Azure, permitindo insights poderosos para impulsionar ações em tempo real. Você pode usar o portal do Azure para visualizar dados de entrada e escrever uma consulta do Stream Analytics. Quando a consulta estiver pronta, você poderá movê-la para a produção em apenas alguns cliques.

Principais benefícios

Aqui estão os principais benefícios da integração dos Hubs de Eventos do Azure e do Azure Stream Analytics:

• Visualizar dados – Você pode visualizar dados de entrada de um hub de eventos no portal do Azure.
• Testar sua consulta – Prepare uma consulta de transformação e teste-a diretamente no portal do Azure. Para obter a sintaxe da linguagem de consulta, consulte a documentação da linguagem de consulta do Stream Analytics.
• Implantar sua consulta na produção – Você pode implantar a consulta na produção criando e iniciando um trabalho do Azure Stream Analytics.

Fluxo de ponta a ponta

1. Inicie sessão no portal do Azure.

2. Navegue até o namespace dos Hubs de Eventos e depois ao hub de eventos, que tem os dados de entrada.

3. No menu de navegação esquerdo, expanda Recursos e selecione Processar dados, e em seguida, selecione Iniciar no painel Habilitar informações em tempo real a partir de eventos.

   

4. Você verá uma página de consulta com valores já definidos para os campos a seguir. Se vir uma janela pop-up sobre um grupo de consumidores e uma política a ser criada para si, selecione OK. Você vê imediatamente uma visão geral dos dados recebidos mais recentes nesta guia.

   1. Seu hub de eventos como uma entrada para a consulta.

   2. Exemplo de consulta SQL com instrução SELECT.

   3. Um alias de saída para fazer referência aos resultados da consulta de teste.

      

   • O tipo de serialização em seus dados é detetado automaticamente (JSON/CSV). Você também pode alterá-lo manualmente para JSON/CSV/AVRO.

   • Você pode visualizar os dados recebidos no formato de tabela ou formato bruto.

   • Se os dados apresentados não estiverem atualizados, selecione Atualizar para ver os eventos mais recentes.

   • Na imagem anterior, os resultados são mostrados no formato de tabela. Para ver os dados brutos, selecione Raw

     

5. Selecione Consulta de teste para ver o instantâneo dos resultados do teste da sua consulta na guia Resultados do Teste. Você também pode baixar os resultados.

   

   Escreva sua própria consulta para transformar os dados. Consulte Referência da linguagem de consulta do Stream Analytics.

6. Depois de testar a consulta e desejar movê-la para a produção, selecione Criar trabalho do Stream Analytics.

   

7. Na página Novo trabalho de Stream Analytics, siga estas etapas:

   1. Especifique um nome para o trabalho.

   2. Selecione sua assinatura do Azure onde você deseja que o trabalho seja criado.

   3. Selecione o grupo de recursos para o recurso de trabalho do Stream Analytics.

   4. Selecione o local para o trabalho.

   5. Para o nome da política dos Hubs de Eventos, crie uma nova política ou selecione uma existente.

   6. Para o grupo de consumidores Hubs de Eventos, crie um novo grupo de consumidores ou selecione um grupo de consumidores existente.

   7. Selecione Criar para criar o trabalho do Stream Analytics.

      

      Nota

      Recomendamos que você crie um grupo de consumidores e uma política para cada novo trabalho do Azure Stream Analytics criado na página Hubs de Eventos. Os grupos de consumidores permitem apenas cinco leitores simultâneos, pelo que disponibilizar um grupo de consumidores dedicado a cada trabalho evitará quaisquer erros que possam surgir por exceder esse limite. Uma política dedicada permite que você gire sua chave ou revogue permissões sem afetar outros recursos.

8. Seu trabalho do Stream Analytics agora é criado onde sua consulta é a mesma que você testou e a entrada é seu hub de eventos.

   

9. Adicione uma saída à sua escolha.

10. Navegue de volta para a página de trabalho do Stream Analytics clicando no nome do trabalho no link de breadcrumb.

11. Selecione Editar consulta acima da janela Consulta .

12. Atualize [OutputAlias] com o seu nome de saída e selecione o link Guardar consulta acima da consulta. Feche a página Consulta selecionando X no canto superior direito.

13. Agora, na página de trabalho do Stream Analytics, selecione Iniciar na barra de ferramentas para iniciar o trabalho.

    

Acesso

Problema : o usuário não pode acessar os dados de visualização porque não tem as permissões corretas na Assinatura.

Opção 1: O usuário que deseja visualizar os dados de entrada precisa ser adicionado como um Colaborador na Assinatura.

Opção 2: O usuário precisa ser adicionado como função de testador de consulta do Stream Analytics na Assinatura. Navegue até Controle de acesso para a assinatura. Adicione uma nova atribuição de função para o usuário como função "Stream Analytics Query Tester".

Opção 3: O usuário pode criar o trabalho do Azure Stream Analytics. Defina a entrada como este hub de eventos e navegue até "Consulta" para visualizar os dados recebidos desse hub de eventos.

Opção 4: O administrador pode criar uma função personalizada na assinatura. Adicione as seguintes permissões à função personalizada e, em seguida, adicione usuário à nova função personalizada.

Unidades de streaming

Seu trabalho do Azure Stream Analytics tem como padrão três unidades de streaming (SUs). Para ajustar essa configuração, selecione Dimensionar no menu esquerdo na página de trabalho do Stream Analytics no portal do Azure. Para saber mais sobre unidades de streaming, consulte Compreender e ajustar unidades de streaming.

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica em visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, a tarefa do Stream Analytics não garante exatamente uma saída única para os Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor tendo um hub de eventos como saída, pode observar um atraso na marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos, caso o atraso de replicação entre o primário e o secundário atinja o máximo atraso configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a estas ressalvas, reinicie o trabalho de Análise de Fluxos com a hora de início adequada logo após a conclusão do failover do Event Hubs. Além disso, como a funcionalidade de Geo-replicação do Event Hubs está em pré-visualização pública, não use este padrão para trabalhos de Análise de Fluxo de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Conteúdos relacionados

Para saber mais sobre as consultas do Stream Analytics, consulte Linguagem de consulta do Stream Analytics