Trasformare i dati eseguendo un notebook di Databricks

APPLICABILE A: Azure Data Factory Azure Synapse Analytics

L'attività del notebook Azure Databricks in un pipeline esegue un notebook di Databricks nell'area di lavoro Azure Databricks. Questo articolo si basa sull'articolo relativo alle attività di trasformazione dei dati che presenta una panoramica generale della trasformazione dei dati e le attività di trasformazione supportate. Azure Databricks è una piattaforma gestita per l'esecuzione di Apache Spark.

È possibile creare un notebook di Databricks con un modello arm usando JSON o direttamente tramite l'interfaccia utente di Azure Data Factory Studio. Per una procedura dettagliata passo-passo su come creare un'attività Notebook Databricks usando l'interfaccia utente, fare riferimento al tutorial Eseguire un notebook di Databricks con l'attività notebook di Databricks in Azure Data Factory.

Aggiungere un'attività di Notebook per Azure Databricks a una pipeline con l'interfaccia utente

Per utilizzare un'attività di notebook di Azure Databricks in una pipeline, seguire questa procedura:

1. Cercare Notebook nel riquadro Attività della pipeline, quindi trascinare un'attività Notebook nel canvas della pipeline.

2. Selezionare la nuova attività Notebook nell’area di disegno, se non è già selezionata.

3. Selezionare la scheda Azure Databricks per selezionare o creare un nuovo servizio collegato Azure Databricks che eseguirà l'attività Notebook.

   

4. Selezionare la scheda Settings e specificare il percorso del notebook da eseguire in Azure Databricks, i parametri di base facoltativi da passare al notebook e le altre librerie da installare nel cluster per eseguire il processo.

   

Definizione di attività dei Databricks Notebook

Ecco la definizione JSON di esempio di un'attività notebook di Databricks:

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksNotebook",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "notebookPath": "/Users/user@example.com/ScalaExampleNotebook",
            "baseParameters": {
                "inputpath": "input/folder1/",
                "outputpath": "output/"
            },
            "libraries": [
                {
                "jar": "dbfs:/docs/library.jar"
                }
            ]
        }
    }
}

Proprietà dell'attività dei notebook di Databricks

La tabella seguente fornisce le descrizioni delle proprietà JSON usate nella definizione JSON:

Librerie supportate per le attività di Databricks

Nella definizione dell'attività Databricks precedente specificare questi tipi di libreria: jar, egg, whl, maven, pypi, cran.

{
    "libraries": [
        {
            "jar": "dbfs:/mnt/libraries/library.jar"
        },
        {
            "egg": "dbfs:/mnt/libraries/library.egg"
        },
        {
            "whl": "dbfs:/mnt/libraries/mlflow-0.0.1.dev0-py2-none-any.whl"
        },
        {
            "whl": "dbfs:/mnt/libraries/wheel-libraries.wheelhouse.zip"
        },
        {
            "maven": {
                "coordinates": "org.jsoup:jsoup:1.7.2",
                "exclusions": [ "slf4j:slf4j" ]
            }
        },
        {
            "pypi": {
                "package": "simplejson",
                "repo": "http://my-pypi-mirror.com"
            }
        },
        {
            "cran": {
                "package": "ada",
                "repo": "https://cran.us.r-project.org"
            }
        }
    ]
}

Per altre informazioni, consultare la documentazione di Databricks sui tipi di libreria.

Passaggio di parametri tra notebook e pipeline

È possibile passare parametri ai notebook usando la proprietà baseParameters nell'attività Databricks.

In alcuni casi, potrebbe essere necessario trasferire alcuni valori dal notebook al servizio, che possono essere utilizzati per il flusso di controllo (controlli condizionali) nel servizio o essere utilizzati da attività a valle (il limite di dimensione è di 2 MB).

1. Nel notebook, chiamare dbutils.notebook.exit("returnValue") e il corrispondente "returnValue" verrà restituito al servizio.

2. È possibile utilizzare l'output nel servizio tramite espressioni come @{activity('databricks notebook activity name').output.runOutput}.

   Importante

   Se si passa un oggetto JSON, è possibile recuperare i valori aggiungendo nomi di proprietà. Esempio: @{activity('databricks notebook activity name').output.runOutput.PropertyName}

Come caricare una libreria in Databricks

È possibile usare l'interfaccia utente dell'area di lavoro:

1. Usare l'interfaccia utente dell'area di lavoro di Databricks

2. Per ottenere il percorso dbfs della libreria aggiunto tramite l'interfaccia utente, è possibile usare l'interfaccia della riga di comando di Databricks.

   In genere le librerie Jar sono archiviate in dbfs:/FileStore/jars quando si usa l'interfaccia utente. È possibile elencarle tutte tramite l'interfaccia della riga di comando: databricks fs ls dbfs:/FileStore/job-jars

In alternativa, è possibile usare l'interfaccia della riga di comando di Databricks:

1. Segui Copia la libreria usando la CLI di Databricks

2. Usare il CLI (interfaccia della riga di comando) di Databricks (procedura di installazione)

   Ad esempio, per copiare un file JAR in dbfs: dbfs cp SparkPi-assembly-0.1.jar dbfs:/docs/sparkpi.jar