Requisitos de uso do Databricks Connect

Este artigo fornece requisitos de uso para o Databricks Connect. Para informações sobre o Databricks Connect, consulte Databricks Connect.

Requisitos do espaço de trabalho

Para usar o Databricks Connect para se conectar ao seu espaço de trabalho:

• A sua conta e espaço de trabalho no Azure Databricks devem ter o Unity Catalog ativado. Consulte Introdução ao Catálogo Unity e Habilitar um espaço de trabalho para o Catálogo Unity.

• A versão do Databricks Runtime da computação deve ser maior ou igual à versão do pacote Databricks Connect. O Databricks recomenda que você use o pacote Databricks Connect mais recente que corresponda à sua versão do Databricks Runtime.

  Para usar recursos que estão disponíveis em versões posteriores do Databricks Runtime, você deve atualizar o pacote Databricks Connect. Consulte as notas de versão do Databricks Connect para obter uma lista das versões disponíveis do Databricks Connect. Para ver as notas de lançamento do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

• Se você estiver se conectando à computação sem servidor, seu espaço de trabalho deverá atender aos requisitos de computação sem servidor.

  Observação

  A computação sem servidor é suportada a partir do Databricks Connect versão 15.1. As versões do Databricks Connect que são menores ou iguais à versão do Databricks Runtime no serverless são totalmente compatíveis. Consulte as Notas de lançamento. Para verificar se a versão do Databricks Connect é compatível com computação sem servidor, consulte Validar a conexão com o Databricks.

• Se você estiver se conectando a um cluster, o cluster de destino deverá usar um modo de acesso ao cluster de Atribuído ou Compartilhado. Consulte Modos de acesso.

Requisitos ambientais locais

Para instalar o Databricks Connect, seu ambiente de desenvolvimento local deve atender aos seguintes requisitos:

Python

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação Databricks , pode haver requisitos:

  • Para autenticação OAuth user-to-machine (U2M), você deve usar a CLI do Databricks para autenticar antes de executar o código. Veja o tutorial do Databricks Connect para Python.

  • A autenticação OAuth de utilizador para máquina (U2M) e a autenticação OAuth de máquina para máquina (M2M) são suportadas no SDK Databricks para Python a partir da versão 0.19.0 e superiores. Para atualizar a versão instalada do SDK Databricks do seu projeto para Python, veja Comece com o SDK Databricks para Python.

• Python 3 está instalado, e a versão menor do Python instalado cumpre os requisitos de versão da compatibilidade de versões abaixo.

• Se estiver a usar funções definidas pelo utilizador (UDFs), a subversão local do Python coincide com a subversão do Python na versão do Databricks Runtime do cluster ou do ambiente de computação serverless. Para encontrar a versão menor Python da versão Databricks Runtime do seu cluster, consulte a secção System das notas de lançamento Databricks Runtime dessa versão. Consulte as notas de versão, versões e compatibilidade do Databricks Runtime e as notas de versão da computação sem servidor.

Scala

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação Databricks , pode haver requisitos:

  • Para autenticação OAuth user-to-machine (U2M), você deve usar a CLI do Databricks para autenticar antes de executar o código. Consulte o tutorial do Databricks Connect for Scala.

  • A autenticação utilizador-a-máquina (U2M) OAuth (U2M) e a autenticação máquina-a-máquina OAuth (M2M) são suportadas no SDK Databricks desde Java 0.18.0 e superiores. Para atualizar a versão instalada do SDK Databricks do seu projeto para Java, consulte Comece com o SDK Databricks para Java.

  • Para Databricks Connect for Databricks Runtime 13.3 LTS e superiores, para Scala, o Databricks Connect inclui o SDK Databricks para Java. Este SDK implementa o padrão de autenticação unificada Databricks .

• O Kit de Desenvolvimento Java (JDK) está instalado. A Databricks recomenda que a versão da sua instalação JDK corresponda à versão JDK no seu cluster Azure Databricks. Para localizar a versão JDK do Databricks Runtime em seu cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou a tabela de compatibilidade de versão.

  Observação

  Usar uma versão do JDK que não corresponda à versão do JDK do cluster pode causar um comportamento inesperado ou impedir a execução do código.

• O Scala está instalado. A Databricks recomenda que a versão da sua instalação Scala corresponda à versão Scala do seu cluster Azure Databricks. Para encontrar a versão Scala da versão do Databricks Runtime do cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou a tabela de compatibilidade de versão.

• Se estiver a usar funções definidas pelo utilizador (UDFs), as versões locais de Scala e Java correspondem às versões Scala e Java da versão Databricks Runtime do cluster. Para encontrar as versões Scala e Java da versão Databricks Runtime do seu cluster, consulte a secção System environment das notas de lançamento Databricks Runtime ou a tabela de compatibilidade version abaixo.

• Uma ferramenta de construção Scala, como sbt, está instalada.

Versões do Databricks Connect

A tabela a seguir mostra o Databricks Connect suportado e versões de idiomas compatíveis. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime. Consulte as notas de versão do Databricks Connect para obter uma lista das versões disponíveis do Databricks Connect. Para ver as notas de lançamento do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

Python

Para suporte UDF, consulte o ambiente base Python.

Scala

Versões de fim de suporte

O Databricks Connect segue os ciclos de vida de suporte do Databricks Runtime. As seguintes versões atingiram o fim do suporte. Se você estiver usando uma versão do Databricks Connect que atingiu o fim do suporte, atualize para uma versão compatível.

Python

Scala