Administrer biblioteker i Fabric-miljøer

Microsoft Fabric-miljøer giver fleksibel konfiguration til at køre Spark-jobs. Biblioteker leverer genanvendelig kode til notebooks og Spark-jobdefinitioner. Ud over indbyggede biblioteker, der følger med hver Spark-runtime, kan du installere offentlige og brugerdefinerede biblioteker i Fabric-miljøer.

Indbyggede biblioteker

I Fabric leveres hver runtime-version forudindlæst med et kurateret sæt indbyggede biblioteker, der er optimeret til ydeevne, kompatibilitet og sikkerhed på tværs af Python, R, Java og Scala. Siden med indbyggede biblioteker i miljøet lader dig browse og søge i disse forudinstallerede biblioteker baseret på den valgte runtime.

Disse biblioteker er installeret som standard i alle miljøer og kan ikke ændres. De vil være tilgængelige, hvis du kører din notebook eller Spark-jobdefinition i dette miljø.

For at se listen over forudinstallerede pakker og deres versioner for hver runtime, se Apache Spark runtimes i Fabric.

Eksterne arkiver

Du kan tilføje biblioteker fra offentlige repositories som PyPI, Conda og Maven, eller fra private repositories. Kilde- og publiceringsmulighederne varierer afhængigt af typen af repository. Når du tilføjer et bibliotek, vælger du en publiceringstilstand (Fuld eller Hurtig). For detaljer om, hvordan hver tilstand fungerer, se Vælg publicer-tilstand for biblioteker.

Tilføj et bibliotek fra et offentligt Python-repository

Offentlige repositories lader dig installere pakker fra PyPI eller Conda.

1. I fanen Eksterne repositories vælger du Tilføj bibliotek.

2. Vælg Tilføj bibliotek fra offentligt arkiv.

3. Vælg kilden (PyPI eller Conda).

4. Indtast bibliotekets navn i søgefeltet. Mens du skriver, foreslår søgefeltet populære biblioteker, men listen er begrænset. Hvis du ikke kan se dit bibliotek, så indtast dets fulde navn.

   

   Hvis bibliotekets navn findes, ser du de tilgængelige versioner.

5. Vælg versionen og gem og udgiv derefter dit miljø.

Tilføj bibliotek fra Maven

Fabric understøtter installation af biblioteker direkte fra Maven-repositorier. For at gøre dette opretter du en POM-fil , der viser de Maven-afhængigheder, du vil installere, og uploader den til Environment.

1. I fanen Eksterne repositories skal du vælge Importer pom.xml.

2. Vælg pom.xml-filen fra din lokale mappe.

Tilføj et bibliotek fra et privat repository

Private repositories lader dig installere pakker med pip eller conda.

1. I fanen Eksterne repositories vælger du Tilføj bibliotek.

2. Vælg Tilføj bibliotek fra privat repository.

3. Vælg kilden (pip eller conda).

4. Indtast bibliotekets navn og version. Sørg for at indtaste bibliotekets navn og version korrekt, for det understøttes ikke at søge i biblioteker i private repositories, mens du skriver. Forkert pakkeinformation får udgivelsen til at fejle.

Tilføj biblioteker fra et Azure Artifact Feed

Azure Artifact Feeds kan scopes til enten et projekt (privat) eller en organisation (offentlig). Fabric understøtter begge teleskoper. Uanset feedets synlighed i Azure DevOps, forbinder Fabric altid via en autentificeret Data Factory-forbindelse, så du skal oprette en forbindelse selv til offentlige feeds.

Opret en forbindelse til dit Azure Artifact Feed

Miljøet gemmer ikke legitimationsoplysninger direkte. I stedet opretter du en forbindelse via Data Factory Connector og refererer til den efter forbindelses-ID i en YML-fil. Lær mere om Azure Artifact Feed.

1. Vælg tandhjulsikonet Indstillinger i øverste højre hjørne af Fabric-portalen, og vælg derefter Administrer forbindelser og gateways.

   

2. Opret en ny forbindelse. Vælg + Ny og vælg derefter Cloud som type og vælg Azure Artifact Feed (Preview) som forbindelsestype.

   

3. Indtast feed-URL'en og en personlig adgangstoken (PAT) med Packaging > Read-scope .

4. Vælg Tillad Code-First artefakter som notesbøger for at få adgang til denne forbindelse (Forhåndsvisning).

   

5. Vælg Opret for at gemme forbindelsen. Du burde kunne se det i forbindelseslisten.

6. Optag forbindelses-ID'et efter oprettelsen. Du skal bruge det i næste trin.

Forbered og upload en YML-fil

Opret en YML-fil, der lister de pakker, du vil installere, og refererer til forbindelses-ID'et i stedet for feed-URL'en og legitimationsoplysninger. Fabric bruger forbindelses-ID'et til at autentificere og trække pakker fra dit feed ved publicering.

En standard pip-konfiguration refererer direkte til feed-URL'en og legitimationsoplysninger:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

For Fabric erstatter du URL'en med det forbindelses-ID, du tidligere registrerede:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Upload YML-filen direkte til miljøet, eller skift til YML-editorvisningen og indsæt indholdet. Når du publicerer miljøet, læser Fabric pakkerne fra dit feed og lagrer dem. Hvis du opdaterer pakker i dit Azure Artifact Feed, genudgiver miljøet for at hente de nyeste versioner.

Administrer eksterne biblioteker

Når du har tilføjet eksterne biblioteker, kan du administrere dem fra sektionen Eksterne repositories .

• Filter – Brug et pakkenavn som nøgleord til at filtrere listen over eksterne biblioteker.
• Opdater – Vælg et bibliotek for at opdatere dets navn, version eller kildetype i Listevisning. I YML-editorvisningen kan du også opdatere Azure Artifact Feed-forbindelses-ID.
• Slet – Hold musen over en biblioteksrække for at se Slet-muligheden , eller vælg flere biblioteker og vælg derefter Slet. Du kan også fjerne biblioteker ved at bruge YML-editorvisningen.
• View dependencies – Hold musen over et offentligt repository-bibliotek og vælg View dependencies for at hente dets dependency tree. Afhængighedsinformation er ikke tilgængelig for private biblioteker eller biblioteker fra et Azure Artifact Feed.
• Eksporter til .yml – Eksporter hele listen over eksterne biblioteker til en .yml fil og download den til din lokale mappe.

Brugerdefinerede biblioteker

Brugerdefinerede biblioteker refererer til kode, der er oprettet af dig eller din organisation. Fabric understøtter brugerdefinerede biblioteksfiler i .whl, .py, .jar og .tar.gz formater. Som med eksterne biblioteker vælger du en publiceringstilstand (fuld eller hurtig), når du uploader brugerdefinerede pakker. For detaljer, se Vælg publiceringstilstand for biblioteker.

Brug Upload- og Download-knapperne på siden Brugerdefinerede biblioteker for at tilføje biblioteker fra din lokale mappe eller downloade dem lokalt.

For at slette et bibliotek, hold musen over dets række og vælg skraldekurvsikonet, eller vælg flere biblioteker og vælg derefter Slet.

Vælg publiceringstilstand for biblioteker

Når du tilføjer eksterne eller brugerdefinerede biblioteker, vælger du en publiceringstilstand. Full mode er tilgængelig for alle bibliotekskilder og arbejdsbelastningstyper. Quick mode er tilgængelig for offentlige arkiver og de fleste brugerdefinerede biblioteksformater, men kun når man kører notebooks.

Følgende tabel viser, hvilken publiceringstilstand hver bibliotekskilde understøtter.

Vælg den rette tilstand til dine behov

Brug afhængighedskompleksitet og arbejdsbelastningstype til at afgøre, hvilken tilstand der passer til.

• Full mode løser afhængigheder, validerer kompatibilitet og skaber et stabilt bibliotekssnapshot under publicering. Det snapshot bliver udsendt, når en ny session starter. Bedst til større afhængighedssæt (for eksempel mere end 10 pakker), produktionsarbejdsbelastninger og pipelines. Publicering tager typisk 3 til 6 minutter; Sessionsopstart tilføjer 1 til 3 minutter til afhængighedsudrulning, afhængigt af afhængighedsstørrelsen. For at opretholde et stabilt snapshot og opnå cirka 5-sekunders sessionsstart, brug Full mode sammen med en brugerdefineret live pool.
• Hurtig tilstand springer afhængighedsbehandling over under udgivelse og installerer pakker ved notebook-sessionens opstart i stedet. Bedst til lettere afhængighedssæt, hurtig iteration og tidlige eksperimenter. Publiceren er færdig på cirka 5 sekunder; Bibliotekets installation sker ved sessionens start.

Du kan blande modes under udviklingen. Et almindeligt mønster er at iterere i quick mode og derefter flytte validerede afhængigheder til full mode for et stabilt produktionssnapshot. Du kan også beholde et eksisterende fuldtilstandssnapshot uændret og lægge nye testpakker i quick mode — full mode-snapshotet deployeres først, og derefter installeres quick mode-pakkerne ovenpå.

Tilstandsbegrænsninger og adfærd

Husk disse begrænsninger, når du arbejder med publiceringsmetoder.

• Quick mode fungerer kun med notesbøger, ikke Spark-jobdefinitioner.
• For at flytte et brugerdefineret bibliotek mellem tilstande, download filen, fjern den fra den nuværende tilstand og upload den derefter til måltilstanden. Direkte overførsler mellem tilstande understøttes ikke.
• Installationslogs vises ikke i notesbogen. Brug Overvågning (niveau 2) til at følge fremskridt og fejlfinde.
• Når begge tilstande indeholder pakker, gælder det fulde øjebliksbillede først. Quick mode-pakker installeres ovenpå og overskriver enhver fuld mode-pakke med samme navn.
• Når der findes dubletter pakker på tværs af tilstande, tilsidesætter Quick mode-versioner kun Full mode-versioner for den aktuelle notebook-session. Når du starter en ny session, geninstalleres Full mode snapshot først, og derefter installeres Quick mode-pakkerne ovenpå.
• Quick mode-pakker installeres, når den første kodecelle for det pågældende sprog kører. For eksempel installeres Python-pakker, når den første Python-celle kører, og R-pakker installeres, når den første R-celle kører.

Relateret indhold

• Oprette, konfigurer og brug et miljø i Fabric
• Administrer Apache Spark-biblioteker i Fabric