Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
Diese Seite befasst sich mit dem neuen AI-Gateway (sichtbar im linken Navigationselement der Benutzeroberfläche), das sich derzeit in der Betaversion befindet. Kontoadministratoren können den Zugriff auf dieses Feature auf der Seite " Vorschauen " der Kontokonsole aktivieren. Siehe Manage Azure Databricks Previews.
Ausführliche Informationen zur vorherigen Version des AI-Gateways finden Sie unter AI-Gateway für die Bereitstellung von Endpunkten.
AI Gateway ist die zentrale AI-Governance-Ebene von Databricks für LLM-Endpunkte, MCP-Server und Codierungs-Agents. Verwenden Sie das AI-Gateway, um die Nutzung zu analysieren, Berechtigungen zu konfigurieren, Schutzvorrichtungen zu erzwingen und die Kapazität über Anbieter hinweg zu verwalten.
LLMs
AI Gateway bietet Unternehmensgovernance für LLM-Endpunkte und Codierungs-Agents, einschließlich einer vereinheitlichten Benutzeroberfläche, verbesserter Beobachtbarkeit und erweiterter API-Abdeckung.
| Thema | Description |
|---|---|
| AI-Gateway für LLM-Endpunkte | Erfahren Sie mehr über das AI-Gateway (Beta) für LLM-Endpunkte und wie Sie loslegen. |
| Konfigurieren von AI-Gateway-Endpunkten | Erstellen Sie und konfigurieren Sie KI-Gateway-Endpunkte für Ihre LLMs und Codierungsagenten. |
| Abfragen von AI-Gateway-Endpunkten | Abfragen von AI-Gateway-Endpunkten mithilfe des OpenAI-Clients und anderer unterstützter APIs. |
| Nutzungsüberwachung der AI-Gateway-Endpunkte | Überwachen Sie die Nutzung und Kosten für AI-Gateway-Endpunkte mithilfe von Systemtabellen. |
| Überwachen von Modellen mithilfe von Rückschlusstabellen | Überwachen und Prüfen von Anforderungen und Antworten in Unity Catalog Delta-Tabellen. |
| Konfigurieren von Ratelimits für AI-Gateway-Endpunkte | Erzwingen Sie Verbrauchsgrenzwerte für AI-Gateway-Endpunkte, um Kapazität und Kosten zu verwalten. |
| Integration mit Programmieragenten | Integrieren Sie Codierungs-Agents wie Cursor, Gemini CLI, Codex CLI und Claude Code in AI Gateway. |
Hinweis
KI-Gateway-Features verursachen keine Gebühren während der Betaversion.
MCPs
Der AI-Gateway bietet Governance für MCP-Server, um Ihnen Transparenz, Zugriffssteuerung und Protokollierung aller MCP-Interaktionen zu bieten.
| Thema | Description |
|---|---|
| Model Context Protocol (MCP) auf Databricks | Erfahren Sie mehr über MCP-Servertypen auf Databricks und die ersten Schritte. |
| Verwenden von von Databricks verwalteten MCP-Servern | Greifen Sie sofort auf Databricks-Features mit vorinstallierten MCP-Servern zu. |
| Verwenden externer MCP-Server | Stellen Sie sicher eine Verbindung mit MCP-Servern her, die außerhalb von Databricks gehostet werden, indem Sie verwaltete Verbindungen verwenden. |
| Hosten von benutzerdefinierten MCP-Servern mit Databricks-Apps | Hosten Sie einen benutzerdefinierten MCP-Server als Databricks-App. |
| Verbinden von Nicht-Databricks-Clients mit Databricks MCP-Servern | Verbinden Sie MCP-Clients mit Ihren Databricks MCP-Servern. |
Modell, das Endpunkte bedient (vorheriger)
Die vorherige Version von AI Gateway bietet Governance-Funktionen für die Bereitstellung von Modellendpunkten, einschließlich externer Modellendpunkte, Foundation-Model-API-Endpunkte und benutzerdefinierter Modellendpunkte.
| Thema | Description |
|---|---|
| AI-Gateway für die Bereitstellung von Endpunkten | Erfahren Sie mehr über KI-Gateway-Features für die Bereitstellung von Endpunkten, einschließlich der unterstützten Features und Einschränkungen. |
| AI Gateway an Modellbereitstellungsendpunkten konfigurieren. | Konfigurieren Sie KI-Gateway-Features wie Nutzungsnachverfolgung, Nutzlastprotokollierung, Geschwindigkeitsbeschränkungen und Schutzläufe für ein Modell, das Endpunkte bedient. |
| Überwachen von bereitgestellten Modellen mithilfe von KI-Gateway-aktivierten Rückschlusstabellen | Überwachen Sie bereitgestellte Modelle mithilfe von durch das AI Gateway aktivierten Inferenztabellen. |