Controllo del codice sorgente in Azure Data Factory

APPLICABILE A: Azure Data Factory Azure Synapse Analytics

Per impostazione predefinita, l'interfaccia utente di Azure Data Factory consente agli autori di lavorare direttamente con il servizio data factory. Questa esperienza presenta le limitazioni seguenti:

• Il servizio Data Factory non include un repository per l'archiviazione delle entità JSON per le modifiche. L'unico modo per salvare le modifiche è tramite il pulsante Pubblica tutto e tutte le modifiche vengono pubblicate direttamente nel servizio data factory.
• Il servizio Data Factory non è ottimizzato per la collaborazione e il controllo delle versioni.
• Il modello di Azure Resource Manager necessario per distribuire Data Factory stesso non è incluso.

Per offrire un'esperienza di creazione migliore, Azure Data Factory consente di configurare un repository Git con Azure Repos o GitHub. Git è un sistema di controllo della versione che consente di rilevare le modifiche e collaborare in modo più semplice. Questo articolo illustra come configurare e lavorare in un repository Git, oltre a indicare le procedure consigliate e fornire una guida alla risoluzione dei problemi.

È anche possibile fare riferimento a Continuous integration and delivery (CI/CD) in Azure Data Factory per altre informazioni sul modello CI/CD più ampio, di cui il controllo del codice sorgente è un aspetto critico.

Per altre informazioni su come Azure Data Factory si integra con Git, vedere il video dell'esercitazione di 15 minuti di seguito:

Vantaggi dell'integrazione GIT

Di seguito è riportato un elenco di alcuni dei vantaggi che l'integrazione GIT offre all'esperienza di creazione:

• Controllo del codice sorgente: poiché i carichi di lavoro della data factory assumono un’importanza cruciale, può essere opportuno integrare la factory con Git per sfruttare diversi vantaggi del controllo del codice sorgente, come i seguenti:
  • Possibilità di tenere traccia delle modifiche e di controllarle.
  • Possibilità di ripristinare le modifiche che hanno introdotto bug.
• Salvataggio parziale: durante la creazione con il servizio data factory, non è possibile salvare le modifiche come bozza e tutte le operazioni di pubblicazione devono superare la convalida della data factory. Se le pipeline non sono state completate o se semplicemente non si vogliono perdere le modifiche in caso di arresto anomalo del sistema del computer, l'integrazione con Git consente di apportare modifiche incrementali alle risorse di Data Factory indipendentemente dallo stato in cui si trovano. La configurazione di un repository Git consente di salvare le modifiche in modo da poter procedere alla pubblicazione solo dopo aver testato le modifiche apportate in base alle proprie esigenze.
• Collaborazione e controllo: se più membri del team contribuiscono alla stessa factory, può essere opportuno consentire loro di collaborare tramite un processo di revisione del codice. Puoi anche configurare la factory in modo che non tutti i collaboratori abbiano le stesse autorizzazioni. Alcuni membri del team potrebbero essere autorizzati ad apportare modifiche solo tramite Git, mentre solo alcune persone specifiche del team sono autorizzate a pubblicare le modifiche nella factory.
• Ci/CD migliore: se si esegue la distribuzione in più ambienti con un processo di recapito continuo, l'integrazione Git semplifica alcune azioni. Di seguito sono riportate alcune di queste azioni.
  • Configurare la pipeline di versione in modo che si attivi automaticamente non appena vengono apportate modifiche alla factory di sviluppo.
  • Personalizzare le proprietà nell'ambiente di lavoro disponibili come parametri nel modello di Gestione Risorse. Può essere utile mantenere come parametri solo il set di proprietà richiesto e impostare tutto il resto come hardcoded.
• Prestazioni migliori: una factory media con integrazione Git carica 10 volte più velocemente di una che utilizza il servizio Data Factory. Questo miglioramento delle prestazioni è dovuto al download di risorse tramite Git.

Connettersi a un repository Git

Esistono quattro modi diversi per connettere un repository Git alla data factory per Azure Repos e GitHub. Dopo aver eseguito la connessione a un repository Git, è possibile visualizzare e gestire la configurazione nell'hub di gestione in Configurazione Git nella sezione Controllo del codice sorgente.

Metodo di configurazione 1: home page

Nella home page di Azure Data Factory, selezionare Configura il repository di codice nella parte superiore della pagina.

Metodo di configurazione 2: area di disegno di creazione

Nell'area di progettazione dell'interfaccia utente di Azure Data Factory, selezionare il menu a discesa Data Factory e quindi selezionare Configura repository di codice.

Metodo di configurazione 3: hub Gestione

Passare all'hub di gestione in Azure Data Factory Studio. Selezionare Configurazione Git nella sezione Controllo codice sorgente. Se non è stato connesso alcun repository, selezionare Configura.

Metodo di configurazione 4: durante la creazione della factory

Quando si crea una nuova data factory nel portale di Azure, è possibile configurare le informazioni sul repository Git nella scheda di configurazione Git.

Autore con integrazione di Azure Repos con Git

La creazione visiva con Azure Repos integrazione git supporta il controllo del codice sorgente e la collaborazione per lavorare sulle pipeline di data factory. È possibile associare una data factory a un repository dell'organizzazione Git Azure Repos per il controllo del codice sorgente, la collaborazione, il controllo delle versioni e così via. Una singola organizzazione Git Azure Repos può avere più repository, ma un repository Git Azure Repos può essere associato a una sola data factory. Se non si ha un'organizzazione o un repository Azure Repos, seguire le istruzioni these per creare le risorse.

impostazioni di Azure Repos

Il riquadro di configurazione illustra in modo dettagliato la configurazione di ognuna delle impostazioni del repository di codice seguenti:

Modificare impostazioni del repository

Se è necessario apportare modifiche alle impostazioni del repository Git configurato Azure Repos, è possibile scegliere di Edit.

È possibile aggiornare il ramo di pubblicazione e decidere se disabilitare o meno il pulsante Pubblica da ADF Studio. Se si sceglie di disabilitare il pulsante Pubblica dallo studio, il pulsante sarà disattivato e apparirà in grigio nello studio. Ciò consente di evitare di sovrascrivere l'ultima distribuzione di pubblicazione automatizzata.

Usare un tenant di Microsoft Entra diverso

Il repository Git Azure Repos può trovarsi in un tenant Microsoft Entra diverso. Per specificare un tenant Microsoft Entra diverso, è necessario disporre delle autorizzazioni di amministratore per la sottoscrizione Azure in uso. Per altre informazioni, vedere Modificare l'amministratore della sottoscrizione.

Usa il tuo account Microsoft personale

Per usare un account Microsoft personale per l'integrazione con Git, è possibile collegare il repository personale Azure al Active Directory dell'organizzazione.

1. Aggiungi il tuo account Microsoft personale all'Active Directory dell'organizzazione come ospite. Per altre informazioni, vedere Aggiungi utenti di Collaborazione B2B Microsoft Entra nel portale di Azure.

2. Accedere al portale di Azure con il account Microsoft personale. Passare quindi alla Active Directory dell'organizzazione.

3. Passare alla sezione Azure DevOps, in cui viene visualizzato il repository personale. Selezionare il repository e connettersi con Active Directory.

Dopo questi passaggi di configurazione, il repository personale è disponibile quando si configura l'integrazione di Git nell'interfaccia utente di Data Factory.

Per altre informazioni sulla connessione di Azure Repos alla Active Directory dell'organizzazione, vedere Connettere l'organizzazione Azure DevOps a Microsoft Entra ID.

Autore con integrazione di GitHub

La creazione visiva con l'integrazione di GitHub supporta il controllo del codice sorgente e la collaborazione per lavorare sulle pipeline di data factory. È possibile associare una data factory a un repository di account GitHub per il controllo del codice sorgente, la collaborazione e il controllo delle versioni. Un singolo account GitHub può ospitare più repository e ogni repository può essere associato a più data factory. Configurando ogni data factory per l'uso di un ramo diverso all'interno dello stesso repository, è possibile mantenere ambienti separati (ad esempio sviluppo, gestione temporanea e produzione) e gestirne indipendentemente le configurazioni. Se non si ha un account o un repository GitHub, seguire le istruzioni ese per creare le risorse.

L'integrazione di GitHub con Data Factory supporta sia le GitHub pubbliche (ovvero https://github.com), GitHub Enterprise Cloud e GitHub Enterprise Server. È possibile usare repository di GitHub pubblici e privati con Data Factory, purché sia disponibile l'autorizzazione di lettura e scrittura per il repository in GitHub. Per connettersi a un repository pubblico, selezionare l'opzione Usa collegamento repository, poiché non sono visibili nel menu a discesa di Nome repository. L'integrazione server aziendale GitHub di Azure Data Factory funziona solo con versioni ufficialmente supportate di GitHub Enterprise Server.

Per i repository appartenenti a un account di un'organizzazione GitHub, l'amministratore deve autorizzare l'app ADF. Per i repository di proprietà di un account utente GitHub, un utente con almeno l'autorizzazione da collaboratore può autorizzare l'app ADF. Questa autorizzazione non concede all'app Azure Data Factory l'accesso diretto a tutti i repository di proprietà dell'account o dell'organizzazione, ma consente esclusivamente all'app ADF di agire per conto dell'utente per accedere ai repository in base alle sue autorizzazioni di accesso.

impostazioni di GitHub

Il riquadro di configurazione mostra le impostazioni del repository GitHub seguenti:

Modificare impostazioni del repository

Se è necessario apportare modifiche alle impostazioni del repository di GitHub configurato, è possibile scegliere di Edit.

È possibile aggiornare il ramo di pubblicazione e decidere se disabilitare o meno il pulsante Pubblica da ADF Studio. Se si sceglie di disabilitare il pulsante Pubblica dallo studio, il pulsante sarà disattivato e apparirà in grigio nello studio. Ciò consente di evitare di sovrascrivere l'ultima distribuzione di pubblicazione automatizzata.

Organizzazioni di GitHub

Per la connessione a un'organizzazione GitHub è necessario che l'organizzazione conceda l'autorizzazione a Azure Data Factory. Per consentire la connessione della data factory, un utente con autorizzazioni ADMIN per l'organizzazione deve eseguire i passaggi seguenti.

Connessione a GitHub pubblico o GitHub Enterprise Cloud per la prima volta in Azure Data Factory

Se ci si connette al GitHub pubblico o GitHub Enterprise Cloud da Azure Data Factory per la prima volta, seguire questa procedura per connettersi a un'organizzazione GitHub.

1. Nel riquadro configurazione Git immettere il nome dell'organizzazione nel campo GitHub Account. Viene visualizzata una richiesta di accesso a GitHub.
2. Accedere usando le credenziali utente.
3. Viene chiesto di autorizzare Azure Data Factory come applicazione denominata AzureDataFactory. In questa schermata viene visualizzata un'opzione per concedere ad ADF l’autorizzazione di accesso all'organizzazione. Se non viene visualizzata l'opzione per concedere l'autorizzazione, chiedere a un amministratore di concedere manualmente l'autorizzazione tramite GitHub.

Dopo aver eseguito questi passaggi, la fabbrica potrà connettersi ai repository pubblici e privati all'interno dell'organizzazione. Se non è possibile connettersi, provare a cancellare la cache del browser e riprovare.

Già connesso al GitHub pubblico o GitHub Enterprise Cloud usando un account personale

Se si è già connessi a GitHub pubblici o GitHub Enterprise Cloud e si è concessa solo l'autorizzazione per accedere a un account personale, seguire questa procedura per concedere le autorizzazioni a un'organizzazione.

1. Passare a GitHub e aprire Settings.

   

2. Seleziona Applicazioni. Nella scheda App OAuth autorizzate verrà visualizzato AzureDataFactory.

   

3. Selezionare l'applicazione e autorizzarla all'accesso all'organizzazione.

   

Dopo aver eseguito questi passaggi, la fabbrica potrà connettersi ai repository pubblici e privati all'interno dell'organizzazione.

Connessione a GitHub Enterprise Server

Se ci si connette a GitHub Enterprise Server, è necessario usare un token di accesso personale per l'autenticazione. Informazioni su come creare un token di accesso personale in Creazione di un token di accesso personale.

Limitazioni GitHub note

• È possibile archiviare file di script e di dati in un repository GitHub. Tuttavia, è necessario caricare manualmente i file in Archiviazione di Azure. Una pipeline di Data Factory non carica automaticamente file di script o di dati archiviati in un repository GitHub per Archiviazione di Azure.

• GitHub Enterprise con una versione precedente alla 2.14.0 non funziona nel browser Microsoft Edge.

• L'integrazione di GitHub con gli strumenti di authoring visivi di Data Factory funziona solo nella versione generalmente disponibile di Data Factory.

Connessione a Azure DevOps Server 2022

Se ci si connette a Azure DevOps Server 2022, è necessario usare un token di accesso personale per l'autenticazione. Informazioni su come creare un token di accesso personale qui.

Connettersi alle Azure DevOps locali fornendo il Azure DevOps Server URL e Azure DevOps Project Collection

Specificare il token con ambito di accesso in lettura/scrittura per il codice.

Controllo della versione

I sistemi di controllo della versione, noti anche come controllo del codice sorgente, consentono agli sviluppatori di collaborare al codice e tenere traccia delle modifiche apportate alla base codice. Il controllo del codice sorgente è uno strumento essenziale per i progetti multi-sviluppatore.

Creazione di rami di funzionalità

Ogni Azure Repos repository Git associato a una data factory ha un ramo di collaborazione. main è il ramo di collaborazione predefinito. Gli utenti possono anche creare i rami delle funzionalità facendo clic su + Nuovo ramo nell'elenco a discesa del ramo.

Quando viene visualizzato il riquadro del nuovo ramo, immettere il nome del ramo di funzionalità e selezionare un ramo su cui basare la sessione di lavoro.

Quando si è pronti per unire le modifiche dal ramo di funzionalità al ramo di collaborazione, fare clic sul menu a discesa dei rami e selezionare Crea richiesta di pull. Questa azione ti porta a Azure Repos Git dove è possibile creare richieste pull, eseguire revisioni del codice e integrare le modifiche nel ramo di collaborazione. (main è l'impostazione predefinita). È possibile eseguire la pubblicazione nel servizio Data Factory solo dal proprio ramo di collaborazione.

Configurare le impostazioni di pubblicazione

Per impostazione predefinita, data factory genera i modelli di Resource Manager della factory pubblicata e li salva in un ramo denominato adf_publish. Per configurare un ramo di pubblicazione personalizzato, aggiungere un file publish_config.json alla cartella radice nel ramo di collaborazione. Durante la pubblicazione, ADF legge questo file, cerca il campo publishBranch e salva tutti i modelli Resource Manager nel percorso specificato. Se il ramo non esiste, data factory lo crea automaticamente. Un esempio dell'aspetto del file è il seguente:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory può avere un solo ramo di pubblicazione alla volta. Quando si specifica un nuovo ramo di pubblicazione, Data Factory non elimina il ramo di pubblicazione precedente. Se si vuole rimuovere il ramo di pubblicazione precedente, eliminarlo manualmente.

Pubblicare le modifiche al codice

Dopo aver unito le modifiche al ramo di collaborazione (main è l'impostazione predefinita), fare clic su Pubblica per pubblicare manualmente le modifiche al codice nel ramo principale nel servizio Data Factory.

Verrà aperto un riquadro laterale in cui si conferma che il ramo di pubblicazione e le modifiche in sospeso sono corrette. Dopo aver verificato le modifiche, fare clic su OK per confermare la pubblicazione.

Procedure consigliate per l'integrazione GIT

Autorizzazioni

In genere, è preferibile che non tutti i membri del team dispongano delle autorizzazioni per aggiornare il Data factory. Sono consigliate le seguenti impostazioni delle autorizzazioni:

• Tutti i membri del team devono avere autorizzazioni di lettura al Data Factory.
• Solo un gruppo selezionato di persone deve essere autorizzato a pubblicare nella data factory. A tale scopo, è necessario disporre del ruolo di contributore di Data Factory nel Gruppo di Risorse che contiene la Data Factory. Per altre informazioni sulle autorizzazioni, vedere Roles e autorizzazioni per Azure Data Factory.

È consigliabile non consentire le archiviazioni dirette al ramo di collaborazione. Questa limitazione può aiutare a prevenire i bug in quanto ogni archiviazione passa attraverso un processo di revisione delle richieste pull descritto in Creazione di rami di funzionalità.

Uso delle password da Azure Key Vault

È consigliabile usare Azure Key Vault per archiviare stringhe di connessione o password o l'autenticazione dell'identità gestita per i servizi collegati di Data Factory. Per motivi di sicurezza, la data factory non memorizza segreti in GIT. Tutte le modifiche apportate ai servizi collegati contenenti segreti, ad esempio le password, vengono pubblicate immediatamente nel servizio Azure Data Factory.

L'uso di Key Vault o l'autenticazione MSI semplifica anche l'integrazione e la distribuzione continua, perché non sarà necessario fornire questi segreti durante la distribuzione di modelli di Resource Manager.

Risoluzione dei problemi di integrazione con Git

Ramo di pubblicazione non aggiornato

Di seguito sono riportati alcuni esempi di situazioni che possono causare un ramo di pubblicazione obsoleto:

• Un utente ha più filiali. In un ramo di funzionalità ha eliminato un servizio collegato non associato ad AKV (i servizi associati non AKV vengono pubblicati immediatamente indipendentemente dal fatto che si trovino o meno in Git) e non ha mai unito il ramo di funzionalità al ramo di collaborazione.
• Un utente ha modificato il data factory usando l'SDK o PowerShell
• Un utente ha spostato tutte le risorse in un nuovo ramo e ha tentato di eseguire la pubblicazione per la prima volta. I servizi collegati devono essere creati manualmente durante l'importazione delle risorse.
• Un utente carica manualmente un servizio collegato non AKV o un Integration Runtime JSON. Fa riferimento a quella risorsa da una risorsa diversa come un set di dati, un servizio collegato o una pipeline. Un servizio collegato non AKV creato tramite l'interfaccia utente viene pubblicato immediatamente poiché le credenziali devono essere crittografate. Se si carica un set di dati che fa riferimento a tale servizio collegato e si tenta di pubblicare, l'interfaccia utente lo consente perché esiste nell'ambiente Git. Verrà rifiutato in fase di pubblicazione poiché non esiste nel servizio Data Factory.

Se il ramo di pubblicazione non è sincronizzato con il ramo principale e contiene risorse non aggiornate nonostante una recente pubblicazione, è possibile usare una delle soluzioni seguenti:

Opzione 1: usare la funzionalità Sovrascrivi modalità live

Pubblica o sovrascrive il codice dal ramo di collaborazione in modalità live. Considera il codice nel repository come fonte di verità.

Flusso di codice:Ramo di collaborazione -> Modalità live

Opzione 2: Disconnettere e riconnettere il repository Git

Questa opzione importa il codice dalla modalità live nel ramo di collaborazione. Considera il codice in modalità dinamica come origine della verità.

Flusso di codice:Modalità live -> Ramo di collaborazione

1. Rimuovere il repository Git corrente
2. Riconfigurare Git con le stesse impostazioni, ma verificando di aver selezionato Importa risorse di Data Factory esistenti nel repository e di aver scelto Ramo di collaborazione (stesso ramo)
3. Creare una pull request per unire le modifiche al ramo di collaborazione.

Scegliere uno dei due metodi in base alle esigenze.

Tutte le risorse visualizzate come nuove nella pubblicazione

Durante la pubblicazione, tutte le risorse potrebbero essere visualizzate come nuove anche se sono state pubblicate in precedenza. Questo problema può verificarsi se la proprietà lastCommitId viene reimpostata nella proprietà repoConfiguration della factory tramite la ridistribuzione di un modello AFM factory o l'aggiornamento della proprietà factory repoConfiguration tramite PowerShell o l'API REST. Continuare a pubblicare le risorse può risolvere il problema, ma per evitare che si verifichi nuovamente, evitare di aggiornare la proprietà repoConfiguration della factory.

Passare a un repository GIT diverso

Per passare a un repository Git diverso, andare alla pagina Configurazione Git nell'hub Gestione in Controllo codice sorgente. Selezionare Disconnetti.

Immettere il nome della data factory e fare clic su Conferma per rimuovere il repository GIT associato alla data factory.

Dopo aver rimosso l'associazione con il repository corrente, puoi configurare le impostazioni GIT in modo da usare un repository diverso e quindi importare le risorse di Data Factory esistenti nel nuovo repository.

Contenuto correlato

• Per altre informazioni sul monitoraggio e sulla gestione delle pipeline, vedere Monitorare e gestire pipeline a livello di codice.
• Per implementare l'integrazione e la distribuzione continue, vedere Continuous integration and delivery (CI/CD) in Azure Data Factory.