Modello che gestisce l'osservabilità con Genie Code

Questo articolo descrive in che modo Genie Code consente di diagnosticare i problemi, analizzare le prestazioni e ottenere indicazioni per il modello che gestisce gli endpoint.

Che cosa può aiutare Genie Code?

Quando si usa Genie Code in una pagina dell'endpoint di gestione di un modello, diventa un compagno di osservabilità per la gestione del modello. Può analizzare l'integrità degli endpoint, diagnosticare gli errori di distribuzione, analizzare i problemi di latenza e fornire indicazioni sulle procedure consigliate, tutte dal riquadro Codice Genie.

Genie Code è un advisor di sola lettura in questa modalità. Può esaminare gli endpoint e fornire raccomandazioni, ma non può modificare configurazioni o distribuzioni. Sono disponibili istruzioni dettagliate e collegamenti alla documentazione, in modo da poter apportare modifiche manualmente.

Inizia subito

Per iniziare:

1. Passare a una pagina dell'endpoint di gestione del modello.
2. Fare clic Per aprire il riquadro Genie Code (Codice Genie).
3. Nell'angolo in basso a destra selezionare Agente. Questa opzione attiva o disattiva la modalità agente di Genie Code.
4. Immettere un prompt che descriva ciò di cui hai bisogno. Ad esempio, "Controllare l'integrità di questo endpoint" o "Perché la latenza è così elevata?"

Capacità

Controlli di integrità e diagnostica

Genie Code può analizzare lo stato e la configurazione dell'endpoint per identificare i potenziali problemi:

• Controllare gli stati di integrità e distribuzione degli endpoint.
• Esaminare la configurazione in base alle procedure consigliate.
• Valutare il ridimensionamento e l'utilizzo delle risorse.

Risoluzione dei problemi e analisi

Genie Code consente di risolvere i problemi relativi agli endpoint:

• Diagnosticare gli errori di distribuzione usando log di compilazione, eventi e stato dell'endpoint.
• Esaminare i problemi di latenza o timeout elevati usando metriche, eventi e dati di tabella di inferenza.
• Analizzare i modelli di errore dai log del servizio e dalle tabelle di inferenza.
• Identificare errori di configurazione o vincoli di risorse.
• Confrontare le configurazioni correnti e in sospeso con la valutazione dei rischi.

Linee guida e procedure consigliate

Genie Code include raccomandazioni basate sulla configurazione dell'endpoint:

• Consigliare configurazioni di scalabilità ottimali per carichi di lavoro di produzione e sviluppo.
• Spiegare gli stati e le transizioni dell'endpoint.
• Guida alla configurazione del monitoraggio e dell'osservabilità.
• Cercare la documentazione di Azure Databricks e fornire collegamenti ad articoli pertinenti.

Casi d'uso

Provare queste istruzioni per iniziare:

• Controlli di integrità:
  • Verificare lo stato di questo endpoint.
  • "L'endpoint è configurato correttamente?"
  • Verifica la configurazione del ridimensionamento del mio endpoint.
• Errori di distribuzione:
  • /diagnose o "Perché l'implementazione ha avuto esito negativo?"
  • "Aiutami a correggere gli errori di distribuzione."
  • "L'endpoint è bloccato in stato di attesa."
• Debug della latenza:
  • "Perché la latenza è così elevata?"
  • Analizzare il picco di latenza di questa mattina.
  • "Mostra le metriche delle prestazioni per le ultime 24 ore".
• Verifica della configurazione:
  • Cosa è cambiato nella configurazione in sospeso?
  • "L'impostazione della concorrenza è appropriata per la produzione?"
  • "Mostra la configurazione della tabella di inferenza."
• Cronologia richieste:
  • "Mostra richieste recenti a questo endpoint".
  • "Quali errori incontrano i miei utenti?"
  • "Analizzare i modelli di errore dell'ultima settimana".

Informazioni aggiuntive

• Codice Genie
• Usare il codice Genie
• Monitorare la qualità del modello e l'integrità degli endpoint
• Guida al debug per la gestione dei modelli
• Ottimizzare gli endpoint di gestione dei modelli per la produzione