Freigeben über


Übersicht über Microsoft Foundry Models

Microsoft Foundry Models ist Ihr zentrales Ziel zum Ermitteln, Auswerten und Bereitstellen leistungsstarker KI-Modelle – ganz gleich, ob Sie einen benutzerdefinierten Copilot, einen Agent, eine vorhandene Anwendung verbessern oder neue KI-Funktionen erkunden.

Mit Foundry Models haben Sie folgende Möglichkeiten:

  • Entdecken Sie einen umfassenden Katalog modernster Modelle aus Microsoft, OpenAI, DeepSeek, Hugging Face, Meta und mehr.
  • Vergleichen und bewerten Sie Modelle nebeneinander mithilfe von realen Aufgaben und Ihren eigenen Daten.
  • Stellen Sie dank integrierter Tools für Optimierung, Einblick und verantwortungsvolle KI sicher bereit.
  • Wählen Sie Ihren Pfad aus– bringen Sie Ihr eigenes Modell mit, verwenden Sie ein gehostetes Modell, oder integrieren Sie nahtlos Azure Dienste.

Unabhängig davon, ob Sie Entwickler, data scientist oder Unternehmensarchitekt sind, bietet Foundry Models Ihnen die Flexibilität und Kontrolle, KI-Lösungen zu erstellen, die skaliert werden – sicher, verantwortungsbewusst und schnell.

Foundry bietet einen umfassenden Katalog von KI-Modellen. Es gibt über 1.900 Modelle, die von Foundation-Modellen, Begründungsmodellen, kleinen Sprachmodellen, multimodalen Modellen, domänenspezifischen Modellen und Industriemodellen reichen.

Der Modellkatalog ist in zwei Hauptkategorien unterteilt:

Wenn Sie die Unterscheidung zwischen diesen Kategorien verstehen, können Sie die richtigen Modelle für Ihre spezifischen Anforderungen und strategischen Ziele auswählen.

Hinweis

Kunden sind für alle Modelle verantwortlich für:

  • Einhaltung des Gesetzes bei der Verwendung eines Modells oder Systems
  • Überprüfen von Modellbeschreibungen im Modellkatalog, Modellkarten, die vom Modellanbieter zur Verfügung gestellt werden, und andere relevante Dokumentationen
  • Auswählen eines geeigneten Modells für ihren Anwendungsfall
  • Die Implementierung geeigneter Maßnahmen (einschließlich der Verwendung von Azure AI Content Safety), um sicherzustellen, dass Kunden die Nutzung der Foundry Tools mit den Microsoft-Produktbedingungen und dem Microsoft Enterprise AI Services-Verhaltenskodex einhalten.

Modelle, die direkt von Azure verkauft werden

Auch als Azure Direct-Modelle bezeichnet oder Direct aus Azure Modellen werden diese Modelle unter Microsoft Produktbedingungen gehostet und Microsoft verkauft. Microsoft hat diese Modelle ausgewertet und sind tief in das KI-Ökosystem Azure integriert. Die Modelle stammen aus einer Vielzahl von Anbietern und bieten eine verbesserte Integration, optimierte Leistung und direkte Microsoft-Unterstützung, einschließlich Vereinbarungen zum Servicelevel auf Unternehmensniveau (SLAs).

Eigenschaften von Modellen, die direkt von Azure verkauft werden:

  • Support verfügbar von Microsoft.
  • Hohe Integration in Azure Dienste und Infrastruktur.
  • Vorbehaltlich der internen Überprüfung auf der Grundlage der verantwortlichen KI-Standards von Microsoft.
  • Modelldokumentation und Transparenzberichte bieten Kundensichtbarkeit, um Risiken, Gegenmaßnahmen und Einschränkungen zu modellieren.
  • Skalierbarkeit, Zuverlässigkeit und Sicherheit der Enterprise-Klasse.

Einige dieser Modelle bieten auch fungible bereitgestellten Durchsatz, was bedeutet, dass Sie Ihre Quote und Reservierungen flexibel für jedes dieser Modelle verwenden können. Informationen dazu, wie Foundry die Daten verarbeitet, die Sie für Foundry-Modelle bereitstellen, die direkt von Azure verkauft werden, finden Sie unter Daten, Datenschutz und Sicherheit für Azure Direct Models in Microsoft Foundry.

Modelle von Partnern und Community

Diese Modelle stellen die überwiegende Mehrheit der Foundry Models dar und werden von vertrauenswürdigen Drittanbieterorganisationen, Partnern, Forschungslabors und Community-Mitwirkenden bereitgestellt. Diese Modelle bieten spezielle und vielfältige KI-Funktionen, die eine vielzahl von Szenarien, Branchen und Innovationen abdecken. Beispiele für Modelle von den Partnern und der Community sind die Familie großer Sprachmodelle, die von Anthropic entwickelt wurden, sowie die offenen Modelle aus dem Hugging Face Hub.

Anthropic umfasst die Claude-Familie von modernsten großsprachlichen Modellen, die Text- und Bildeingabe, Textausgabe, mehrsprachige Funktionen und Vision unterstützen. Verwenden Sie Microsoft Support, um Hilfe bei Anthropic-Modellen zu erhalten. Weitere Informationen zum Datenschutz finden Sie unter Daten, Datenschutz und Sicherheit für Claude-Modelle in Microsoft Foundry (Vorschau). Informationen zu Bedingungen, die die Datenverarbeitung regeln, finden Sie im Zusatz zur Datenverarbeitung von Anthropic und den kommerziellen Nutzungsbedingungen von Anthropic. Informationen zum Arbeiten mit Anthropic-Modellen finden Sie unter Bereitstellen und Verwenden von Claude-Modellen in Microsoft Foundry.

Hugging Face Hub enthält Hunderte von Modellen für die Echtzeit-Ableitung mit verwalteter Berechnung. Hugging Face erstellt und unterhält die in dieser Sammlung aufgelisteten Modelle. Für Hilfe zu den Hugging Face Modellen verwenden Sie das Hugging Face Forum oder den Hugging Face-Support. Erfahren Sie, wie Sie Hugging Face-Modelle bereitstellen, unter Bereitstellung und Inferenz mit einer verwalteten Compute-Bereitstellung (klassisch).

Von Bedeutung

Um mit Modellen zu arbeiten, die auf verwalteten Rechenressourcen bereitgestellt werden können, z. B. Hugging Face-Modelle, verwenden Sie ein hubbasiertes Projekt im Foundry-Portal (klassisch). Weitere Informationen zu den verfügbaren Findry-Portalen finden Sie unter What is Microsoft Foundry?.

Merkmale von Modellen von Partner und Community:

  • Entwickelt und unterstützt von externen Partnern und Community-Mitwirkenden
  • Vielfältiges Angebot an spezialisierten Modellen für Nischen oder breite Anwendungsfälle
  • In der Regel wird typischerweise von den Anbietern selbst überprüft, wobei Integrationsrichtlinien von Azure bereitgestellt werden.
  • Gemeinschaftliche Innovation und schnelle Verfügbarkeit modernster Modelle
  • Standard-Azure KI-Integration mit Unterstützung und Wartung, die von den jeweiligen Anbietern verwaltet wird

Modelle von Partnern und Communities können mit verwalteter Rechenleistung oder serverloser Bereitstellung bereitgestellt werden. Der Modellanbieter wählt aus, wie die Modelle bereitgestellt werden können. Weitere Informationen zu den Bereitstellungstypen, die unter der Option für die serverlose Bereitstellung verfügbar sind, finden Sie unter Deployment-Typen für Microsoft Foundry Models.

Anfordern eines Modells, das im Modellkatalog enthalten sein soll

Fordern Sie an, dass wir dem Modellkatalog direkt über die Modellkatalogseite im Foundry-Portal ein Modell hinzufügen.

  1. Wechseln Sie zur Modellkatalogseite.
  2. Suchen Sie in der Suchleiste nach einem Modell, das im Katalog nicht vorhanden ist, z. B. "mein Modell".
  3. Wählen Sie "Modell anfordern" aus, um Details zum Modell zu teilen, das Sie anfordern möchten.

Auswahl zwischen Modellen, die direkt von Azure und Modellen von Partnern und Community verkauft werden

Berücksichtigen Sie bei der Auswahl der zu verwendenden Foundry-Modelle Folgendes:

  • Use case and requirements: Modelle, die direkt von Azure verkauft werden, eignen sich ideal für Szenarien, die eine umfassende Azure Integration, garantierte Unterstützung und Unternehmens-SLAs erfordern. Modelle von Partnern und der Community zeichnen sich in spezialisierten Anwendungsfällen und innovationsgetriebenen Szenarien aus.
  • Support-Erwartungen: Modelle, die direkt von Azure verkauft werden, verfügen über robuste Microsoft bereitgestellten Support und Wartung. Partner- und Communitymodelle werden von ihren Anbietern unterstützt, mit unterschiedlichen SLA- und Supportstrukturen.
  • Innovation und Spezialisierung: Modelle von Partnern und der Community bieten schnellen Zugang zu spezialisierten Innovationen und nischenspezifischen Fähigkeiten, die häufig von führenden Forschungseinrichtungen und aufstrebenden KI-Anbietern entwickelt wurden.

Übersicht über Modellkatalogfunktionen

Der Modellkatalog im Foundry-Portal ist der Hub zum Auffinden und Verwenden einer vielzahl von Modellen zum Erstellen von generativen KI-Anwendungen. Der Modellkatalog verfügt über Hunderte von Modellen von Modellanbietern wie Azure OpenAI, Mistral, Meta, Cohere, NVIDIA und Hugging Face, einschließlich Modellen, die Microsoft trainiert hat. Modelle anderer Anbieter als Microsoft sind Nicht-Microsoft Produkte gemäß definition in Microsoft Produktbedingungen und unterliegen den Bedingungen, die mit den Modellen bereitgestellt werden.

Suchen und ermitteln Sie Modelle, die Ihren Anforderungen durch Stichwortsuche und -filter entsprechen. Der Modellkatalog bietet außerdem die Leistungs-Rangliste und Benchmark-Metriken für ausgewählte Modelle. Greifen Sie auf sie zu, indem Sie Rangliste anzeigen und Modelle vergleichen auswählen. Benchmarkdaten stehen auch auf der Registerkarte "Benchmarks " der Modellkarte zur Verfügung.

Einige der im Modellkatalog verfügbaren Filter sind:

  • Sammlung: Filtermodelle basierend auf der Modellanbieterauflistung.
  • Branche: Filtern Sie nach den Modellen, die auf branchenspezifischem Dataset geschult werden.
  • Funktionen: Filtern Sie nach eindeutigen Modelleigenschaften wie Schlussfolgerungen und Werkzeugaufrufen.
  • Ableitungsaufgaben: Filtermodelle basierend auf dem Ableitungsvorgangstyp.

Einige der in der Modellkarte verfügbaren Details sind:

  • Schnelle Fakten: Wichtige Informationen zum Modell auf einen schnellen Blick
  • Registerkarte "Details": Detaillierte Informationen zum Modell, z. B. Beschreibung, Versionsinformationen und unterstützter Datentyp
  • Registerkarte "Benchmarks": Leistungs-Benchmarkmetriken für ausgewählte Modelle
  • Registerkarte "Bereitstellungen": Eine Liste der vorhandenen Bereitstellungen für das Modell
  • Registerkarte "Lizenz": Rechtliche Informationen zur Modelllizenzierung

Modellbereitstellungsoptionen: verwaltete Rechenleistung und serverlose Bereitstellungen

Der Modellkatalog bietet zwei verschiedene Optionen zum Bereitstellen von Modellen für Ihre Verwendung: verwaltete Compute- und serverlose Bereitstellungen. Informationen zur Datenverarbeitung mit den Bereitstellungsoptionen finden Sie unter Daten, Datenschutz und Sicherheit für die Verwendung von Modellen über den Modellkatalog im Microsoft Foundry-Portal (klassisch). Informationen dazu, wie Foundry die Daten verarbeitet, die Sie für Foundry-Modelle bereitstellen, die direkt von Azure verkauft werden, finden Sie unter Daten, Datenschutz und Sicherheit für Azure Direct Models in Microsoft Foundry.

Funktionen der Modellimplementierungsoptionen

Die für jedes Modell verfügbaren Bereitstellungsoptionen und Features variieren, wie in der folgenden Tabelle beschrieben:

Features Verwaltete Rechenleistung Serverlose Bereitstellung
Bereitstellungserfahrung und Abrechnung Modellgewichte werden auf dedizierten virtuellen Maschinen mit verwalteter Rechenleistung bereitgestellt. Eine verwaltete Computeressource, die über eine oder mehrere Bereitstellungen verfügen kann, stellt eine REST-API für den Rückschluss zur Verfügung. Die Abrechnung erfolgt auf Basis der Kernstunden des virtuellen Computers, die von den Bereitstellungen genutzt werden. Greifen Sie auf Modelle über eine Bereitstellung zu, die eine API bereitstellt. Die API bietet Zugriff auf das Modell, das Microsoft hosten und zur Ableitung verwaltet. Sie werden für Eingaben und Ausgaben an die APIs in Rechnung gestellt, in der Regel in Token. Preisinformationen werden vor der Bereitstellung bekannt gegeben.
API-Authentifizierung Schlüssel und Microsoft Entra Authentifizierung. Schlüssel und Microsoft Entra Authentifizierung.
Inhaltssicherheit Verwenden Sie Azure AI Content Safety Dienst-APIs. Azure AI Content Safety Filter sind in Inferenz-APIs integriert verfügbar. Azure AI Content Safety Filter werden separat abgerechnet.
Netzwerkisolation Konfigurieren Sie ein verwaltetes Netzwerk für Microsoft Foundry-Hubs (klassisch). Verwaltete Netzwerke folgen der Einstellung der Kennzeichnung „Public Network Access“ (PNA) für Ihre Foundry-Ressource. Weitere Informationen finden Sie in der Netzwerkisolation für Modelle, die über serverlose Bereitstellungen bereitgestellt werden , weiter unten in diesem Artikel.

Diagramm, das die Unterschiede im Dienstzyklus zwischen verwalteten Computebereitstellungen und serverlosen Bereitstellungen in den Microsoft Foundry-Modellen zeigt.

Verwaltete Rechenleistung

Die Möglichkeit, Modelle als verwaltete Recheneinheiten bereitzustellen, baut auf den Plattformfunktionen von Azure Machine Learning auf. Dies ermöglicht eine nahtlose Integration der vielfältigen Modellsammlung im Modellkatalog über den gesamten Lebenszyklus von Operationen für große Sprachmodelle (LLM).

Von Bedeutung

Um mit Modellen zu arbeiten, die auf verwalteten Rechnern bereitgestellt werden können, verwenden Sie ein hub-basiertes Projekt im Foundry-Portal (klassisch). Weitere Informationen zu den verfügbaren Findry-Portalen finden Sie unter What is Microsoft Foundry?.

Diagramm, das den Lebenszyklus von LLM-Vorgängen (Large Language Model) mit verwalteter Berechnung zeigt.

Verfügbarkeit von Modellen für die Bereitstellung als verwaltete Rechenressourcen

Die Modelle werden über Azure Machine Learning Registries zur Verfügung gestellt. Diese Registrierungen ermöglichen einen Machine-Learning-First-Ansatz zum Hosting und zur Verteilung von Azure Machine Learning-Assets. Zu diesen Ressourcen gehören Modellgewichte, Containerlaufzeiten für die Ausführung der Modelle, pipelines zum Auswerten und Optimieren der Modelle sowie Datasets für Benchmarks und Beispiele.

Die Registrierungen bauen auf einer hoch skalierbaren und unternehmensfähigen Infrastruktur auf, die Folgendes bietet:

  • Ermöglicht den Zugriff auf Modellartefakte mit niedriger Latenz in allen Azure-Regionen mit integrierter Geo-Replikation.

  • Unterstützt Unternehmenssicherheitsanforderungen wie das Einschränken des Zugriffs auf Modelle mithilfe von Azure Policy und sicherer Bereitstellung mithilfe von verwalteten virtuellen Netzwerken.

Bereitstellung von Modellen für Vorhersagen mit verwalteten Rechenressourcen

Modelle, die zur Bereitstellung auf verwalteten Compute-Ressourcen verfügbar sind, können auf den verwalteten Compute-Ressourcen von Azure Machine Learning für Echtzeit-Inferenz bereitgestellt werden. Zum Bereitstellen auf verwalteter Compute benötigen Sie ein Kontingent für virtuelle Computer in Ihrem Azure-Abonnement für die spezifischen Produkte, um das Modell optimal ausführen zu können. Einige Modelle erlauben Ihnen die Implementierung in einem vorübergehend gemeinsam genutzten Kontingent für Modelltests.

Weitere Informationen zum Bereitstellen von Modellen:

Erstellen von generativen KI-Apps mit verwaltetem Rechenbetrieb

Das feature prompt flow in Azure Machine Learning bietet eine großartige Erfahrung für die Prototyperstellung. Verwenden Sie Modelle, die mit verwalteten Computing-Ressourcen im Prompt-Flow bereitgestellt werden, mit dem Open Model LLM-Tool. Sie können auch die REST-API verwenden, die von verwalteter Compute in beliebten LLM-Tools wie LangChain mit der Erweiterung Azure Machine Learning verfügbar gemacht wird.

Inhaltssicherheit für Modelle, die als verwaltete Rechenressourcen bereitgestellt werden

Der dienst Azure AI Content Safety steht für die Verwendung mit verwalteter Berechnung zur Verfügung, um verschiedene Kategorien schädlicher Inhalte wie sexuelle Inhalte, Gewalt, Hass und Selbstschäden anzuzeigen. Sie können den Dienst auch verwenden, um auf erweiterte Bedrohungen wie die Erkennung von Jailbreak-Risiken und die Erkennung von geschütztem Textmaterial zu überprüfen.

Für eine Referenzintegration mit Azure AI Content Safety für Llama 2, siehe in diesem Notizbuch. Oder verwenden Sie das Tool Content Safety (Text) im Eingabeaufforderungsfluss, um Antworten vom Modell an Azure AI Content Safety zur Überprüfung zu übergeben. Sie werden für diese Verwendung separat in Rechnung gestellt, wie in Azure AI Content Safety Pricing beschrieben.

Serverlose Bereitstellungen

Serverlose Bereitstellungen bieten eine Möglichkeit, Foundry-Modelle als APIs zu nutzen, ohne sie in Ihrem Abonnement zu hosten. Modelle werden in einer Microsoft verwalteten Infrastruktur gehostet, die den API-basierten Zugriff auf das Modell des Modellanbieters ermöglicht. API-basierter Zugriff kann die Kosten für den Zugriff auf ein Modell erheblich reduzieren und die Einrichtung vereinfachen.

Modelle, die für serverlose Bereitstellungen verfügbar sind, werden vom Modellanbieter angeboten, aber sie werden in einer Microsoft verwalteten Azure Infrastruktur gehostet und über API aufgerufen. Modellanbieter definieren die Lizenzbedingungen und legen den Preis für die Verwendung ihrer Modelle fest. Der Azure Machine Learning-Dienst:

  • Verwaltet die Hostinginfrastruktur.
  • Stellt die Rückschluss-APIs zur Verfügung.
  • Fungiert als Datenprozessor für übermittelte Eingabeaufforderungen und Inhaltsoutput für serverlose Implementierungen.

Diagramm mit dem Modellherausgeberdienstzyklus für serverlose Bereitstellungen von Microsoft Foundry Models.

Serverlose Bereitstellungstypen

Die Serverlose Bereitstellungsoption für Foundry Models bietet zwei Hauptbereitstellungskategorien: Standard (Pay-per-Token) und bereitgestellt (reservierte Kapazität). Innerhalb jeder Kategorie können Sie basierend auf Ihren Complianceanforderungen globale, Datenzone oder regionale Verarbeitung auswählen.

Die verfügbaren serverlosen Bereitstellungstypen beinhalten: Global Standard, Global Provisioned, Global Batch, Data Zone Standard, Data Zone Provisioned, Data Zone Batch, Standard, Regional Provisioned und Developer. Weitere Informationen zu diesen Bereitstellungstypen und zur Auswahl des richtigen Typs für Ihre Verwendung finden Sie unter Deployment-Typen für Microsoft Foundry Models.

Abrechnung für serverlose Bereitstellungen

Die Ermittlungs-, Abonnement- und Verbrauchserfahrung für Modelle, die als serverlose Bereitstellungen bereitgestellt werden, finden Sie im Foundry-Portal und Azure Machine Learning studio. Benutzer akzeptieren Lizenzbedingungen für die Verwendung der Modelle. Preisinformationen für den Verbrauch stehen während der Bereitstellung zur Verfügung.

Gießereimodelle von Partnern und der Community werden über den Azure Marketplace gemäß den Microsoft Commercial Marketplace Terms of Use in Rechnung gestellt.

Gießereimodelle, die direkt von Azure verkauft werden, werden über Azure Meter als First Party Consumption Services in Rechnung gestellt. Wie in den Produktbedingungen beschrieben, erwerben Sie Dienste für den Erstanbieterverbrauch mithilfe von Azure Metern, unterliegen jedoch nicht Azure Servicebedingungen. Die Verwendung dieser Modelle unterliegt den bereitgestellten Lizenzbedingungen.

Optimierung von Modellen

Bestimmte Modelle unterstützen auch Feinabstimmungen. Für diese Modelle können Sie verwaltete Rechenressourcen- oder serverlose Bereitstellungen für das Feintuning verwenden, um die Modelle mithilfe der von Ihnen bereitgestellten Daten anzupassen. Weitere Informationen finden Sie unter Fine-tune-Modelle mit Microsoft Foundry (classic).

RAG mit Modellen, die als serverlose Bereitstellungen bereitgestellt werden

Verwenden Sie im Foundry-Portal Vektorindizes und RAG (Retrieval Augmented Generation) mit Modellen, die über serverlose Bereitstellungen bereitgestellt werden, um Einbettungen und Ableitungen basierend auf benutzerdefinierten Daten zu generieren. Diese Einbettungen und Rückschlüsse können dann Antworten generieren, die spezifisch für Ihren Anwendungsfall sind. Weitere Informationen finden Sie unter Erstellen und Verwenden von Vektorindizes im Microsoft Foundry-Portal (klassisch).

Regionale Verfügbarkeit von Angeboten und Modellen

Die Abrechnung per Token ist nur für Benutzer verfügbar, deren Azure Abonnement zu einem Abrechnungskonto in einem Land oder einer Region gehört, in dem der Modellanbieter das Angebot zur Verfügung gestellt hat. Wenn das Angebot in der relevanten Region verfügbar ist, muss der Benutzer über eine Projektressource in der region Azure verfügen, in der das Modell für die Bereitstellung oder Feinabstimmung verfügbar ist, sofern zutreffend. Ausführliche Informationen finden Sie unter Regionsverfügbarkeit für Modelle in serverlosen Bereitstellungen (klassisch ).

Inhaltssicherheit für Modelle, die über serverlose Bereitstellungen bereitgestellt werden

Für Sprachmodelle, die über die serverlose API bereitgestellt werden, implementiert Azure AI eine Standardkonfiguration von Azure AI Content Safety Textmoderationsfiltern, die schädliche Inhalte wie Hass, Selbstschäden, sexuelle und gewalttätige Inhalte erkennen. Weitere Informationen zur Inhaltsfilterung finden Sie unter Guardrails & Steuerelemente für Modelle, die direkt von Azure verkauft werden.

Tipp

Die Inhaltsfilterung ist für bestimmte Modelltypen, die über die serverlose API bereitgestellt werden, nicht verfügbar. Zu diesen Modelltypen gehören Einbettungsmodelle und Zeitreihenmodelle.

Die Inhaltsfilterung erfolgt synchron, während der Dienst Eingaben verarbeitet, um Inhalte zu generieren. Möglicherweise werden Sie gemäß Azure AI Content Safety Preis für diese Verwendung separat in Rechnung gestellt. Sie können die Inhaltsfilterung für einzelne serverlose Endpunkte entweder deaktivieren:

  • Zum Zeitpunkt der ersten Bereitstellung eines Sprachmodells
  • Später durch Auswählen der Umschaltfläche für die Inhaltsfilterung auf der Seite mit den Bereitstellungsdetails

Angenommen, Sie entscheiden sich, eine andere API als die Model Inference-API zu verwenden, um mit einem Modell zu arbeiten, das über eine serverlose API bereitgestellt wird. In einer solchen Situation ist die Inhaltsfilterung nicht aktiviert, es sei denn, Sie implementieren sie separat mithilfe von Azure AI Content Safety.

Informationen zu den ersten Schritten mit Azure AI Content Safety finden Sie unter Quickstart: Analysieren von Textinhalten. Wenn Sie beim Arbeiten mit Modellen, die über die serverlose API bereitgestellt werden, keine Inhaltsfilterung verwenden, besteht ein höheres Risiko, dass Benutzer schädliche Inhalte ausgesetzt werden.

Netzwerkisolation für Modelle, die über serverlose Bereitstellungen bereitgestellt werden

Endpunkte für Modelle, die als serverlose Bereitstellungen bereitgestellt werden, folgen der Flag-Einstellung für den öffentlichen Netzwerkzugriff des Foundry-Hubs mit dem Projekt der Bereitstellung. Um die serverlose Bereitstellung abzusichern, deaktivieren Sie das Flag für den öffentlichen Netzwerkzugriff auf Ihrem Foundry-Hub. Sie können eingehende Kommunikation von einem Client zu Ihrem Endpunkt sichern, indem Sie einen privaten Endpunkt für den Hub verwenden.

So legen Sie das öffentliche Netzwerkzugriffs-Flag für den Foundry-Hub fest:

  1. Wechseln Sie zum portal Azure.
  2. Suchen Sie nach der Ressourcengruppe, zu der der Hub gehört, und wählen Sie ihren Foundry-Hub aus den Ressourcen aus, die für diese Ressourcengruppe aufgeführt sind.
  3. Wechseln Sie auf der Hubübersicht im linken Bereich zu Einstellungen>Netztechnologie.
  4. Konfigurieren Sie die Einstellungen für das Zugriffs-Flag des öffentlichen Netzwerks auf der Registerkarte Public access.
  5. Speichern Sie Ihre Änderungen. Änderungen können bis zu fünf Minuten dauern, bis sie verteilt werden.

Einschränkungen

  • Wenn Sie einen Foundry-Hub mit einem privaten Endpunkt haben, der vor dem 11. Juli 2024 erstellt wurde, folgen serverlose Bereitstellungen, die zu Projekten in diesem Hub hinzugefügt wurden, nicht der Netzwerkkonfiguration des Hubs. Erstellen Sie stattdessen einen neuen privaten Endpunkt für den Hub und eine neue serverlose Bereitstellung im project, damit die neuen Bereitstellungen der Netzwerkkonfiguration des Hubs folgen können.

  • Wenn Sie einen Foundry-Hub mit serverlosen Bereitstellungen haben, die vor dem 11. Juli 2024 erstellt wurden und Sie einen privaten Endpunkt auf diesem Hub aktivieren, folgen die vorhandenen serverlosen Bereitstellungen nicht der Netzwerkkonfiguration des Hubs. Damit serverlose Bereitstellungen im Hub der Netzwerkkonfiguration des Hubs folgen können, erstellen Sie die Bereitstellungen erneut.

  • Derzeit ist Azure OpenAI On Your Data-Unterstützung für serverlose Bereitstellungen in privaten Hubs nicht verfügbar, da private Hubs das Flag für den Zugriff auf das öffentliche Netzwerk deaktiviert haben.

  • Jede Änderung der Netzwerkkonfiguration (z. B. das Aktivieren oder Deaktivieren der Zugriffsfahne für das öffentliche Netzwerk) kann bis zu fünf Minuten dauern, um vollständig wirksam zu sein.  

Modelllebenszyklus: Einstellung und Außerbetriebnahme

KI-Modelle entwickeln sich schnell, und wenn eine neue Version oder ein neues Modell mit aktualisierten Funktionen in derselben Modellfamilie verfügbar wird, werden ältere Modelle möglicherweise im Foundry-Modellkatalog eingestellt. Um einen reibungslosen Übergang zu einer neueren Modellversion zu ermöglichen, ermöglichen einige Modelle Benutzern die Aktivierung automatischer Updates. Weitere Informationen zum Modelllebenszyklus verschiedener Modelle, bevorstehender Ausmusterungstermine und vorgeschlagene Ersatzmodelle und -versionen finden Sie unter: