Condividi tramite

Azure Databricks per sviluppatori di Python

Questa sezione fornisce una guida allo sviluppo di notebook e processi in Azure Databricks usando il linguaggio Python, incluse esercitazioni per flussi di lavoro e attività comuni e collegamenti ad API, librerie e strumenti.

Per iniziare:

Esercitazioni

Le seguenti esercitazioni forniscono un codice e notebook di esempio per comprendere i flussi di lavoro comuni. Per istruzioni sull'importazione di esempi di notebook nell'area di lavoro, vedere Importare un notebook .

Ingegneria dei dati

Data Science e Machine Learning

Debug nei notebook di Python

Il notebook di esempio illustra come usare il debugger Python (pdb) nei notebook di Databricks. Per usare il debugger Python, è necessario eseguire Databricks Runtime 11.3 LTS o versione successiva.

Con Databricks Runtime 12.2 LTS e versioni successive, è possibile usare l'exploratore di variabili per tenere traccia del valore corrente delle variabili di Python nell'interfaccia utente del notebook. È possibile usare Esplora variabili per osservare i valori delle variabili Python mentre procedi attraverso i punti di interruzione.

Notebook di esempio del debugger Python

Prendi il notebook

Nota

breakpoint() non è supportato in IPython e pertanto non funziona nei notebook di Databricks. Si può usare import pdb; pdb.set_trace() in sostituzione di breakpoint().

API Python

Il codice Python eseguito al di fuori di Databricks può generalmente essere eseguito all'interno di Databricks e viceversa. Se si dispone di codice esistente, è sufficiente importarlo in Databricks per iniziare. Per informazioni dettagliate, vedere Gestire il codice con notebook e cartelle Git di Databricks .

Databricks può eseguire carichi di lavoro a computer singolo e distribuito Python. Per il calcolo a computer singolo, è possibile usare Python API e librerie come di consueto. Ad esempio, pandas e scikit-learn funzioneranno semplicemente. Per i carichi di lavoro di Python distribuiti, Databricks offre due API comuni predefinite: PySpark e API Pandas in Spark.

API PySpark

PySpark è l'API Python ufficiale per Apache Spark e combina la potenza di Python e Apache Spark. PySpark è più flessibile dell'API Pandas in Spark e offre supporto completo e funzionalità per data science e funzionalità di progettazione, ad esempio Spark SQL, Structured Streaming, MLLib e GraphX.

API Pandas su Spark

Nota

Il progetto open source Koalas consiglia ora di passare all'API Pandas in Spark. L'API Pandas in Spark è disponibile nei cluster che eseguono Databricks Runtime 10.0 e versioni successive. Per i cluster che eseguono Databricks Runtime 9.1 LTS e versioni successive, usare invece Koalas .

pandas è un pacchetto Python comunemente usato dai data scientist per l'analisi e la manipolazione dei dati. Tuttavia, pandas non è in grado di scalare per i big data. L'API Pandas in Spark riempie questo divario fornendo API equivalenti a pandas che funzionano in Apache Spark. Questa API open source è una scelta ideale per i data scientist che hanno familiarità con pandas ma non Apache Spark.

Gestire il codice con notebook e le cartelle Git di Databricks

notebook Databricks supportano Python. Questi notebook offrono funzionalità simili a quelle di Jupyter, ma con aggiunte come visualizzazioni predefinite che usano Big Data, integrazioni di Apache Spark per il debug e il monitoraggio delle prestazioni e integrazioni MLflow per tenere traccia degli esperimenti di apprendimento automatico. Per iniziare, importa un notebook. Dopo aver ottenuto l'accesso a un cluster, è possibile collegare un notebook al cluster ed eseguire il notebook.

Suggerimento

Per reimpostare lo stato del notebook, riavviare il kernel iPython. Per gli utenti di Jupyter, l'opzione "riavvia kernel" in Jupyter corrisponde all'avvio di una nuova sessione in Databricks. Per riavviare il kernel in un notebook di Python, fare clic sul selettore compute nella barra degli strumenti del notebook e passare il puntatore del mouse sul cluster collegato o sql warehouse nell'elenco per visualizzare un menu laterale. Selezionare Nuova sessione. Verrà avviata una nuova sessione che riavvia il processo di Python.

Le cartelle Git di Databricks consentono agli utenti di sincronizzare notebook e altri file con i repository Git. Le cartelle Git di Databricks sono utili per il controllo delle versioni del codice e la collaborazione e semplificano l'importazione di un repository completo di codice in Azure Databricks, la visualizzazione delle versioni precedenti dei notebook e l'integrazione con lo sviluppo IDE. Per iniziare, clonare un repository Git remoto. È quindi possibile aprire o creare notebook con il clone del repository, collegare il notebook a un cluster ed eseguire il notebook.

Cluster e librerie software

Azure Databricks compute offre la gestione delle risorse di calcolo per i cluster di qualsiasi dimensione: da cluster a nodo singolo fino a cluster di grandi dimensioni. È possibile personalizzare l'hardware e le librerie del cluster in base alle esigenze. I data scientist inizieranno in genere a lavorare creando un cluster o usando un cluster condiviso esistente. Dopo aver ottenuto l'accesso a un cluster, è possibile collegare un notebook al cluster o eseguire un processo nel cluster.

Azure Databricks cluster usano un runtime di Databricks, che offre molte librerie comuni predefinite, tra cui Apache Spark, Delta Lake, pandas e altro ancora. È anche possibile installare altre librerie di terze parti o di Python personalizzate da usare con notebook e processi.

  • Inizia con le librerie di default nelle note sulla versione e compatibilità di Databricks Runtime. Usare Databricks Runtime per Machine Learning per i carichi di lavoro di apprendimento automatico. Per elenchi completi di librerie preinstallate, vedere Versioni e compatibilità delle note sulla versione di Databricks Runtime.
  • Personalizza il tuo ambiente usando librerie Python con ambito Notebook, che consentono di modificare il notebook o l'ambiente di esecuzione con librerie da PyPI o da altri repository. Il comando magic %pip install my_library installa my_library a tutti i nodi del cluster attualmente collegato, ma non interferisce con altri carichi di lavoro nel calcolo con la modalità di accesso standard.
  • Installare librerie non Python come le librerie con ambito di elaborazione Compute in base alle esigenze.
  • Per altri dettagli, vedere Installare le librerie.

Visualizzazioni

Azure Databricks Python notebook supportano molti tipi di visualizzazioni. È anche possibile utilizzare visualizzazioni legacy.

È anche possibile visualizzare i dati utilizzando librerie di terze parti; alcuni sono preinstallati in Databricks Runtime, ma è anche possibile installare librerie personalizzate. Le opzioni più comuni comprendono:

Lavori

È possibile automatizzare i carichi di lavoro di Python come jobs pianificati o attivati in Databricks. I lavori possono eseguire notebook, script Python e file wheel Python.

  • Creare e aggiornare processi usando l'interfaccia utente di Databricks o l'API REST di Databricks .
  • Il Databricks Python SDK consente di creare, modificare ed eliminare processi a livello di codice.
  • L'interfaccia della riga di comando di Databricks offre un'interfaccia della riga di comando pratica per l'automazione dei processi.

Suggerimento

Per pianificare uno script di Python anziché un notebook, usare il campo spark_python_task in tasks nel corpo di una richiesta di creazione del job.

Apprendimento automatico

Databricks supporta un'ampia gamma di carichi di lavoro di Machine Learning (ML), tra cui apprendimento automatico tradizionale su dati tabulari, Deep Learning per visione artificiale ed elaborazione del linguaggio naturale, sistemi di raccomandazione, analisi dei grafi e altro ancora. Per informazioni generali sull'apprendimento automatico in Databricks, vedere Intelligenza artificiale e Machine Learning in Databricks.

Per gli algoritmi di Machine Learning, è possibile usare librerie preinstallate in Databricks Runtime per Machine Learning, che include strumenti di Python comuni come scikit-learn, TensorFlow, Keras, PyTorch, Apache Spark MLlib e XGBoost. È anche possibile installare librerie personalizzate.

Per le operazioni di Machine Learning (MLOps), Azure Databricks fornisce un servizio gestito per la libreria open source MLflow. Con MLflow Tracking è possibile registrare lo sviluppo di modelli e salvare i modelli in formati riutilizzabili. È possibile usare il Registro modelli MLflow per gestire e automatizzare la promozione dei modelli verso la produzione. I processi e la gestione dei modelli consentono l'hosting di modelli come processi batch e di streaming e come endpoint REST. Per altre informazioni ed esempi, vedere la documentazione MLflow in Databricks o MLflow Python API.

Per iniziare a usare carichi di lavoro di Machine Learning comuni, vedere le pagine seguenti:

IDE, strumenti di sviluppo e SDK

Oltre a sviluppare codice Python all'interno di notebook Azure Databricks, è possibile sviluppare esternamente usando ambienti di sviluppo integrati (IDE), ad esempio PyCharm, Jupyter e Visual Studio Code. Per sincronizzare il lavoro tra ambienti di sviluppo esterni e Databricks, sono disponibili diverse opzioni:

  • Codice: è possibile sincronizzare il codice usando Git. Vedere Azure Databricks cartelle Git.
  • Libraries e Job: Si possono creare librerie (ad esempio file wheel Python) esternamente e caricarle in Databricks. Queste librerie possono essere importate all'interno dei notebook di Databricks oppure usate per creare processi. Consultare Installare librerie e Lakeflow Jobs.
  • Esecuzione remota del computer: è possibile eseguire codice dall'IDE locale per lo sviluppo e il test interattivi. L'IDE può comunicare con Azure Databricks per eseguire Apache Spark e calcoli di grandi dimensioni nei cluster Azure Databricks. Vedere Databricks Connect.

Databricks offre un set di SDK, tra cui Python SDK, che supportano l'automazione e l'integrazione con strumenti esterni. È possibile utilizzare gli SDK di Databricks per gestire risorse come cluster e librerie, codice e altri oggetti dell'area di lavoro, carichi di lavoro e processi e altro ancora. Vedere gli SDK di Databricks.

Per altre informazioni sugli IDE, gli strumenti di sviluppo e gli SDK, vedere Strumenti di sviluppo locali.

Risorse aggiuntive

  • Le domande frequenti e i suggerimenti per lo spostamento di carichi di lavoro Python in Databricks sono disponibili nella Knowledge Base Databricks.
  • Last updated on