Transformação dinâmica no mapeamento do fluxo de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Os fluxos de dados estão disponíveis tanto nos pipelines do Azure Data Factory como no do Azure Synapse Analytics. Este artigo aplica-se ao mapeamento de fluxos de dados. Se você é novo em transformações, consulte o artigo introdutório Transformar dados usando fluxos de dados de mapeamento.

Use a transformação de pivô para criar várias colunas a partir dos valores de linha exclusivos de uma única coluna. Pivot é uma transformação de agregação em que você seleciona grupo por colunas e gera colunas dinâmicas usando funções de agregação.

Configuração

A transformação de pivô requer três entradas diferentes: colunas para agrupar, a chave de pivô e como gerar as colunas pivoteadas

Agrupar por

Selecione as colunas sobre as quais agregar as colunas dinâmicas. Os dados de saída agrupam todas as linhas com o mesmo grupo por valores numa só linha. A operação de agregação feita na coluna pivotada ocorre sobre cada grupo.

Esta secção é opcional. Se não for selecionado grupo por colunas, todo o fluxo de dados é agregado e apenas uma linha é produzida.

Chave dinâmica

A coluna de pivot é aquela cujos valores de linha são transformados em novas colunas. Por predefinição, a transformação de pivô cria uma nova coluna para cada valor único de linha.

Na seção rotulada Valor, você pode inserir valores de linha específicos a serem pivotados. Apenas os valores das linhas inseridos nesta secção são pivotados. Ativar o valor nulo cria uma coluna pivotada para os valores nulos na coluna.

Colunas dinâmicas

Para cada valor exclusivo de chave de pivotagem que transforma-se numa coluna, gere um valor de linha agregado para cada grupo. Você pode criar várias colunas por chave de pivô. Cada coluna dinâmica deve conter pelo menos uma função agregada.

Padrão de nome de coluna: Escolha como quer formatar o nome de cada coluna dinâmica. O nome da coluna gerada é uma combinação do valor da chave de pivô, prefixo da coluna, e prefixo, sufixo, ou caracteres do meio opcionais.

Disposição das colunas: se você gerar mais de uma coluna dinâmica por chave dinâmica, escolha como deseja que as colunas sejam ordenadas.

Prefixo da coluna: se gerar mais de uma coluna de pivô por chave de pivô, insira um prefixo de coluna para cada uma. Essa configuração é opcional se tiveres apenas uma coluna de pivô.

Gráfico de ajuda

O gráfico de ajuda mostra como os diferentes componentes do pivô interagem entre si

Metadados dinâmicos

Se não forem especificados valores na configuração da chave pivot, as colunas pivotadas são geradas dinamicamente em tempo de execução. O número de colunas pivoteadas é igual ao número de valores únicos da chave pivô multiplicado por o número de colunas pivô. Como este número pode ser variável, a UX não exibe os metadados da coluna no separador Inspect e não há propagação das colunas. Para transformar essas colunas, use as capacidades de padrão de coluna do fluxo de dados de mapeamento.

Se forem definidos valores específicos de chave pivot, as colunas pivotadas aparecem nos metadados. Os nomes das colunas estão disponíveis para si no mapeamento Inspect e Sink.

Gerar metadados a partir de colunas desviadas

O Pivot gera novos nomes de colunas dinamicamente com base em valores de linha. Você pode adicionar essas novas colunas aos metadados que podem ser referenciados posteriormente no seu fluxo de dados. Para fazer isso, use a ação rápida map drifted na visualização de dados.

Afundamento de colunas pivotantes

Embora as colunas pivotadas sejam dinâmicas, elas ainda podem ser gravadas no repositório de dados de destino. Habilite Permitir desvio de esquema nas configurações do coletor. Isto permite-te escrever colunas que não estão incluídas nos metadados. Não verá os novos nomes dinâmicos nos metadados das colunas, mas a opção de desvio de esquema permite-lhe integrar os dados.

Recompor os campos originais

A transformação de pivô projeta apenas as colunas de agrupamento e pivotadas. Se desejar que os dados de saída incluam outras colunas de entrada, use um padrão de auto-junção .

Script de fluxo de dados

Sintaxe

<incomingStreamName>
    pivot(groupBy(Tm),
        pivotBy(<pivotKeyColumn, [<specifiedColumnName1>,...,<specifiedColumnNameN>]),
        <pivotColumnPrefix> = <pivotedColumnValue>,
        columnNaming: '< prefix >< $N | $V ><middle >< $N | $V >< suffix >',
        lateral: { 'true' | 'false'}
    ) ~> <pivotTransformationName

Exemplo

As telas mostradas na seção de configuração têm o seguinte script de fluxo de dados:

BasketballPlayerStats pivot(groupBy(Tm),
    pivotBy(Pos),
    {} = count(),
    columnNaming: '$V$N count',
    lateral: true) ~> PivotExample

Conteúdos relacionados

Tente a transformação despivotada para transformar valores de coluna em valores de linha.