data-quality grupo de comando

Observação

Essas informações se aplicam às versões 0.205 e superiores da CLI do Databricks. A CLI do Databricks está em Pré-Visualização Pública.

O uso da CLI do Databricks está sujeito à Licença do Databricks e ao Aviso de Privacidade do Databricks, incluindo quaisquer disposições de Dados de Uso.

O data-quality grupo de comandos dentro da CLI Databricks contém comandos para gerir a qualidade dos dados dos objetos do Catálogo Unity. Ver monitorização da qualidade dos dados.

Databricks Data-Quality cancel-refresh

Cancele uma atualização do monitor de qualidade de dados. Atualmente só é suportado para a tabela object_type. A chamada deve ser feita no mesmo espaço de trabalho onde o monitor foi criado.

O chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e MANAGE na tabela.
databricks data-quality cancel-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

REFRESH_ID

    ID único da operação de atualização.

Opções

Bandeiras globais

Exemplos

O exemplo seguinte cancela uma operação de atualização:

databricks data-quality cancel-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

DataBricks Qualidade dos Dados Criar-Monitorizar

Crie um monitor de qualidade de dados num objeto do Unity Catalog. O chamador deve fornecer um anomaly_detection_config monitor de esquema ou data_profiling_config um monitor de tabela.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
  2. USE_CATALOG no catálogo pai da tabela, MANAGE e USE_SCHEMA no esquema pai da tabela e SELECT na tabela.
  3. USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela, e MANAGE e SELECT na tabela.

Os ativos do espaço de trabalho, como o painel, serão criados no espaço de trabalho onde essa chamada foi feita.

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema, e MANAGE e USE_SCHEMA no esquema.
databricks data-quality create-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Exemplos

O exemplo seguinte cria um monitor de qualidade de dados para uma tabela:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"enabled": true}}'

O exemplo seguinte cria um monitor usando um ficheiro JSON:

databricks data-quality create-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json @monitor-config.json

Databricks Qualidade dos Dados Criar-Atualizar

Crie uma atualização. A chamada deve ser feita no mesmo espaço de trabalho onde o monitor foi criado.

O chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e MANAGE na tabela.
databricks data-quality create-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Exemplos

O exemplo seguinte cria uma atualização para um monitor de tabela:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

O exemplo seguinte cria uma atualização usando JSON:

databricks data-quality create-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{}'

Databricks Data-Quality Delete-Monitor

Eliminar um monitor de qualidade de dados no objeto Unity Catalog.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e MANAGE na tabela.

Importante

As tabelas métricas e o painel não serão eliminados como parte desta chamada; Esses ativos devem ser limpos manualmente (se desejar).

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema, e MANAGE e USE_SCHEMA no esquema.
databricks data-quality delete-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

Opções

Bandeiras globais

Exemplos

O exemplo seguinte elimina um monitor de qualidade de dados:

databricks data-quality delete-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

Databricks Get-Monitor de Qualidade de Dados

Leia um monitor de qualidade de dados num objeto do Unity Catalog.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da mesa, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.

A informação devolvida inclui valores de configuração na entidade e na entidade-mãe, bem como informações sobre ativos criados pelo monitor. Alguma informação (por exemplo, dashboard) pode ser filtrada se o interlocutor estiver num espaço de trabalho diferente daquele onde o monitor foi criado.

databricks data-quality get-monitor OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

Opções

Bandeiras globais

Exemplos

O exemplo seguinte obtém informações sobre um monitor de qualidade de dados:

databricks data-quality get-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

DataBricks Data-Quality Get-Refresh

Obtenha informações de atualização do monitor de qualidade de dados. A chamada deve ser feita no mesmo espaço de trabalho onde o monitor foi criado.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da mesa, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.
databricks data-quality get-refresh OBJECT_TYPE OBJECT_ID REFRESH_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

REFRESH_ID

    ID único da operação de atualização.

Opções

Bandeiras globais

Exemplos

O exemplo seguinte fornece informações sobre uma atualização:

databricks data-quality get-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 refresh-12345

Databricks Data-Quality List-Refresh

Liste atualizações de monitores de qualidade de dados. A chamada deve ser feita no mesmo espaço de trabalho onde o monitor foi criado.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da mesa, USE_SCHEMA no esquema pai da tabela e SELECT na tabela.

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema e USE_SCHEMA no esquema.
databricks data-quality list-refresh OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

    Encontre o schema_id recurso de: (1) O schema_id do recurso Schemas. (2) No Explorador de Catálogo → selecionar o esquema → ir ao separador Detalhes → campo ID do Esquema.

    Encontre o table_id recurso de: (1) O recurso table_id das Tabelas. (2) No Explorador de Catálogo → selecionar a tabela → ir ao separador Detalhes → campo ID da Tabela.

Opções

--page-size int

    Número máximo de atualizações a devolver por página.

--page-token string

    Token para recuperar a próxima página de resultados.

Bandeiras globais

Exemplos

O exemplo seguinte lista todas as atualizações de um monitor:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890

O exemplo seguinte lista atualizações com paginação:

databricks data-quality list-refresh table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --page-size 10

Databricks Data-Quality Update-Monitor

Atualize um monitor de qualidade de dados no objeto Unity Catalog.

Para a tabela object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo principal da mesa.
  2. USE_CATALOG no catálogo pai da tabela, e MANAGE e USE_SCHEMA no esquema pai da tabela.
  3. USE_CATALOG no catálogo pai da tabela, USE_SCHEMA no esquema pai da tabela e MANAGE na tabela.

Para o esquema object_type, o chamador deve ter um dos seguintes conjuntos de permissões:

  1. MANAGE e USE_CATALOG no catálogo pai do esquema.
  2. USE_CATALOG no catálogo pai do esquema, e MANAGE e USE_SCHEMA no esquema.
databricks data-quality update-monitor OBJECT_TYPE OBJECT_ID UPDATE_MASK OBJECT_TYPE OBJECT_ID [flags]

Arguments

OBJECT_TYPE

    O tipo do objeto monitorizado. Pode ser um dos seguintes: schema ou table.

OBJECT_ID

    O UUID do objeto de pedido. É schema_id para esquema, e table_id para tabela.

UPDATE_MASK

    A máscara de campo para especificar quais os campos a atualizar como uma lista separada por vírgulas. Valor de exemplo: data_profiling_config.custom_metrics,data_profiling_config.schedule.quartz_cron_expression.

Opções

--json JSON

    A cadeia de caracteres JSON embutida ou o @path para o arquivo JSON com o corpo da solicitação

Bandeiras globais

Exemplos

O exemplo seguinte atualiza a configuração de um monitor:

databricks data-quality update-monitor table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 "data_profiling_config.schedule.quartz_cron_expression" table a1b2c3d4-e5f6-7890-a1b2-c3d4e5f67890 --json '{"data_profiling_config": {"schedule": {"quartz_cron_expression": "0 0 12 * * ?"}}}'

Bandeiras globais

Bandeiras globais

--debug

  Se o log de depuração deve ser habilitado.

-h ou --help

    Exiba a ajuda para a CLI do Databricks ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file String

    Uma cadeia de caracteres que representa o ficheiro onde os registos de saída são gravados. Se esse sinalizador não for especificado, o padrão é gravar logs de saída no stderr.

--log-format Formato

    O tipo de formato de log, text ou json. O valor predefinido é text.

--log-level String

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desativado.

-o, --output tipo

    O tipo de saída do comando, text ou json. O valor predefinido é text.

-p, --profile String

    O nome do perfil no arquivo ~/.databrickscfg a usar para executar o comando. Se esse sinalizador não for especificado, se ele existir, o perfil nomeado DEFAULT será usado.

--progress-format Formato

    O formato para exibir logs de progresso: default, append, inplace, ou json

-t, --target String

    Se aplicável, o destino do pacote a ser usado

  • Last updated on