Condividi tramite

Gateway di intelligenza artificiale per endpoint LLM

Importante

Questa pagina illustra il nuovo gateway di intelligenza artificiale (visibile nel riquadro di spostamento sinistro dell'interfaccia utente), attualmente in versione beta. Gli amministratori dell'account possono abilitare l'accesso a questa funzionalità nella pagina Anteprime della console dell'account. Consultare Gestisci anteprime Azure Databricks.

Per informazioni dettagliate sulla versione precedente del gateway di intelligenza artificiale, vedere Gateway di intelligenza artificiale per la gestione degli endpoint.

Che cos'è il gateway di intelligenza artificiale?

Il gateway di intelligenza artificiale è il piano di controllo aziendale per la governance degli endpoint LLM e degli agenti di codifica. Usarlo per analizzare l'utilizzo, configurare le autorizzazioni e gestire la capacità tra i provider.

Con il gateway di intelligenza artificiale è possibile:

  • Analizza il modo in cui gli agenti di codifica e LLM vengono usati nella vostra organizzazione
  • Governa l'accesso ai modelli ospitati su Azure Databricks ed esterni
  • Accedi il traffico LLM tra tutti gli endpoint su Unity Catalog
  • Monitorare l'integrità degli endpoint e la disponibilità del fornitore
  • Applicare limiti di velocità e protezioni
  • Attribuire i costi a endpoint, utenti e team specifici
  • Instradare il traffico in modo intelligente tra provider per l'affidabilità e il bilanciamento del carico
  • Suddividere il traffico tra più back-end del modello per la scalabilità
  • Cambiare provider e modelli senza modifiche al codice

Panoramica del gateway di intelligenza artificiale

Funzionalità supportate

La tabella seguente definisce le funzionalità del gateway di intelligenza artificiale disponibili:

Caratteristica / Funzionalità Descrzione
Permissions Controllare chi può accedere agli endpoint.
Rilevamento dell'utilizzo Monitorare l'utilizzo e i costi usando le tabelle di sistema.
tabelle di inferenza Monitorare e controllare le richieste e le risposte nelle tabelle Delta del catalogo Unity.
Metriche operative Monitorare l'utilizzo in tempo reale.
Limiti di frequenza Applicare limiti di consumo a livello di endpoint, utente o gruppo.
Guardrail Applicare il filtro del contenuto, la protezione dei dati sensibili e i criteri personalizzati.
Attribuzione dei costi Tenere traccia dei costi a un livello granulare per endpoint, utente e team usando i tag endpoint e request.
Fallbacks Aumentare l'affidabilità eseguendo il routing a più provider in caso di errori.
Suddivisione del traffico Distribuire il traffico tra più back-end del modello per una migliore scalabilità e bilanciamento del carico.
API personalizzate Gestire API personalizzate ed esterne con gli stessi controlli di accesso, limiti di frequenza e registrazione degli endpoint LLM.

Annotazioni

Le funzionalità del gateway di intelligenza artificiale non comportano addebiti durante la versione beta.

Usare il gateway di intelligenza artificiale

Azure Databricks fornisce endpoint del gateway di intelligenza artificiale per i sistemi APM più diffusi. È possibile creare nuovi endpoint per gestire gli agenti di codifica e altre applicazioni.

Per iniziare, vedere Configurare gli endpoint del gateway di intelligenza artificiale. Per eseguire query sugli endpoint, vedere Eseguire query sugli endpoint del gateway di intelligenza artificiale. Per integrare agenti di codifica come Cursor, Gemini CLI, Codex CLI e Claude Code, vedere Integrazione con agenti di codifica.

Avvio rapido delle query

L'esempio seguente illustra come eseguire query su un endpoint del gateway di intelligenza artificiale usando Python e il client OpenAI:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<ai-gateway-url>/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Sostituire <ai-gateway-url> con l'URL dell'endpoint del gateway di intelligenza artificiale.

Passaggi successivi

  • Last updated on