Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Assicurarsi che gli agenti di intelligenza artificiale siano allineati in modo coerente alle istruzioni utente e agli obiettivi delle attività. Il segnale di conformità delle attività identifica le discrepanze, ad esempio le chiamate allo strumento non allineate, l'input o l'output dello strumento non corretto rispetto alla finalità dell'utente e le incoerenze tra le risposte e l'input del cliente. Questa funzionalità consente agli sviluppatori di sistema di ridurre in modo proattivo le azioni non allineate bloccandole o inoltrando il problema per l'intervento umano.
Gli obiettivi principali della funzionalità Di adesione alle attività sono:
- Per rilevare le azioni degli strumenti non allineate con gli obiettivi o l'intento di input dell'utente, o l'input/output dello strumento improprio rispetto all'intento dell'utente, o le incoerenze tra le risposte dell'agente e l'input del cliente.
- Per fornire un ragionamento quando le chiamate degli strumenti non sono allineate correttamente.
- Per fornire un segnale per il blocco delle chiamate degli strumenti downstream e l'escalation alla revisione umana nel ciclo (human-in-the-loop, HITL) quando l'allineamento delle attività è a rischio.
- Per promuovere la fiducia degli utenti nei sistemi agentic rafforzando la coerenza comportamentale, la trasparenza e il controllo.
Prerequisiti
- Una sottoscrizione Azure - Crearne una gratuitamente
- Una volta che hai la tua sottoscrizione Azure, crea una risorsa Content Safety nel portale di Azure per ottenere la chiave e l'endpoint. Immettere un nome univoco per la risorsa, selezionare la sottoscrizione e selezionare un gruppo di risorse, un'area e un piano tariffario supportato. Successivamente, seleziona Crea.
- La distribuzione della risorsa richiede alcuni minuti. Al termine, selezionare Vai alla risorsa. Nel riquadro sinistro, in Gestione risorse selezionare Chiave di sottoscrizione ed Endpoint. L'endpoint e una delle chiavi vengono usati per chiamare le API.
- cURL installato.
Richiedi
Annotazioni
Per un esempio di scudo prompt, vedere prompt shields.
Versione API:2024-12-15-preview
Campi nell'URL
| Nome | Obbligatorio | Descrizione | Tipo |
|---|---|---|---|
| Punto finale | Sì | URL di base per l'API Content Safety. Sostituire <endpoint> con l'endpoint fornito per il servizio Azure. |
Stringa |
| Versione dell'API | Sì | Versione dell'API da usare. Per questa funzionalità, la versione è 2024-12-15-preview. Esempio: <endpoint>/contentsafety/agent:analyzeTaskAdherence?api-version=2024-12-15-preview |
Stringa |
Parametri nel corpo della richiesta
| Nome | Obbligatorio | Descrizione | Tipo |
|---|---|---|---|
| strumenti | Sì | Elenco di strumenti che definiscono le funzioni da usare nell'attività. Ogni strumento include un tipo (ad esempio, "funzione") e i dettagli sulla funzione, inclusi il nome e la descrizione. | Matrice di oggetti JSON |
| messages | Sì | Elenco di messaggi scambiati tra l'utente, l'assistente e gli strumenti. Ogni messaggio include l'origine (ad esempio, "Prompt", "Completamento"), il ruolo (ad esempio, "Utente", "Assistente", "Strumento"), il contenuto (testo del messaggio) e facoltativamente toolCalls o toolCallId. | Matrice di oggetti JSON |
Schema del corpo della richiesta di esempio
Le tabelle seguenti sono le descrizioni dei campi chiave nel corpo della richiesta:
campo strumenti
| Nome | Obbligatorio | Descrizione | Tipo |
|---|---|---|---|
| tipo | Sì | Tipo di strumento utilizzato. Per questa funzionalità, è "funzione" | Stringa |
| function.name | Sì | Nome della funzione. Ad esempio, "read_emails" | Stringa |
| descrizione.funzione | Sì | Breve descrizione delle operazioni che la funzione esegue. Ad esempio, "Legge i messaggi di posta elettronica dell'utente" | Stringa |
campo messaggi
| Nome | Obbligatorio | Descrizione | Tipo |
|---|---|---|---|
| origine | Sì | Origine del messaggio. Valori possibili: "Prompt", "Completion" | Stringa |
| ruolo | Sì | Ruolo associato al messaggio. Valori possibili: "Utente", "Assistente", "Strumento" | Stringa |
| contents | Sì | Il contenuto del messaggio. Ad esempio, "Riepiloga i miei messaggi di posta elettronica" | Stringa o matrice |
| toolCalls | No | Elenco di chiamate degli strumenti effettuate dall'agente, incluso il tipo (ad esempio , "funzione"), function.name, function.arguments e un ID univoco. | Matrice di oggetti JSON |
| toolCallId | No | (Per i messaggi degli strumenti) ID della chiamata allo strumento a cui viene risposto. Corrisponde all'ID specificato nella chiamata allo strumento dell'agente. | Stringa |
Risposta dell'API
Dopo aver inviato la richiesta, riceverai dati JSON che riflettono l'analisi eseguita da Task Adherence. Questi dati contrassegna potenziali vulnerabilità all'interno del flusso di lavoro dell'agente. Ecco l'aspetto di un output tipico:
{
"taskRiskDetected": true,
"details": "Agent attempts to share a document externally without user request or confirmation."
}
| Nome | Descrizione | Tipo |
|---|---|---|
| taskRiskDetected | Contiene i risultati del rilevamento dei rischi per l'input | Booleano |
| details | Restituisce una spiegazione quando viene rilevato un rischio. | Stringa |
Un valore di true per taskRiskDetected indica un rischio rilevato, nel qual caso è consigliabile esaminare e intervenire, ad esempio bloccando la richiesta di chiamata dello strumento o con un'escalation con intervento umano.
Prerequisiti
Un account di Azure. Se non hai un account, puoi crearlo gratuitamente. Una risorsa di intelligenza artificiale Azure.
Configurare e usare l'aderenza delle attività
Seguire questi passaggi per utilizzare la pagina di prova di Content Safety:
- Passare a Azure AI Foundry e passare al progetto/hub. Selezionare quindi la scheda Guardrails + controls nel riquadro di spostamento sinistro e selezionare la scheda Prova.
- Nella pagina Provalo è possibile sperimentare diverse funzionalità di guardrail e controlli, come testo e immagini, utilizzando soglie regolabili per filtrare i contenuti dannosi.
- Passare a Workflow agentico e selezionare Adesione alle attività.
- È possibile selezionare uno degli esempi con chiamate degli strumenti dell'agente allineate o non allineate oppure crearne uno personalizzato per testare l'adesione alle attività.
- Selezionare Esegui test. L'adesione al compito restituisce il flag di rischio per ciascun campione e, se viene rilevato un rischio, restituisce una motivazione.
Scenari utente
Customer support (Assistenza clienti)
Scenario: Un assistente del supporto clienti integrato in una piattaforma aziendale consente agli utenti di controllare l'utilizzo dei dati, risolvere i problemi e gestire le impostazioni dell'account. Per mantenere un'automazione accurata, il sistema incorpora l'adesione alle attività per convalidare i piani agente prima di eseguire chiamate agli strumenti back-end.
Utente: Utenti finali, agenti di supporto e team di esperienza dei clienti.
Azione: Un utente messaggi il chatbot: "È possibile controllare la quantità di dati usati questo mese?" L'assistente prevede di richiamare uno change_data_plan() strumento. L'adesione alle attività rileva un errore di allineamento tra la finalità dell'utente (richiesta di informazioni) e l'azione proposta (modifica della sottoscrizione). La chiamata allo strumento può essere bloccata e il sistema interrompe l'esecuzione o chiede all'utente di esaminare.
Risorse umane
Scenario: Un assistente aziendale automatizza i flussi di lavoro di routine relativi alle risorse umane, come la prenotazione del congedo, l'invio delle spese e il controllo dei dettagli delle politiche. L'aderenza alle attività garantisce che le azioni dell'agente rimangano all'interno dell'ambito previsto e non prendano scorciatoie indesiderate.
Utente: Dipendenti, partner aziendali hr e team di automazione del flusso di lavoro.
Azione: Un dipendente digita: "Voglio sapere quanto congedo annuale mi resta." L'agente prevede di richiamare apply_leave(). L'aderenza alle attività identifica una mancata corrispondenza: l'utente ha chiesto informazioni, non di avviare un processo. L'esecuzione è bloccata; l'agente riformula o richiede la conferma.
Strumenti di produttività
Scenario: Un assistente per la produttività incorporato in una piattaforma di posta elettronica consente ai professionisti di connettersi ai database e di creare bozze, rivedere e inviare messaggi. La conformità delle attività viene usata per distinguere tra la scrittura di una bozza e l'esecuzione di un comando di invio, soprattutto nei casi in cui la finalità dell'utente è ambigua.
Utente: Professionisti della conoscenza, assistenti esecutivi e team di conformità IT.
Azione: L'utente chiede: "Scrivere un messaggio di posta elettronica al client in merito alla scadenza non riuscita". L'agente genera un messaggio e prevede di richiamare send_email(). L'aderenza delle attività contrassegna il piano come potenzialmente prematuro; non ci sono istruzioni specifiche da inviare. Il sistema blocca invece la chiamata allo strumento desiderato e richiede la revisione dell'utente.
Aderenza delle attività: uso degli strumenti allineato e non allineato
Il segnale API di adesione alle attività consente agli sviluppatori e ai proprietari della piattaforma di comprendere quando l'invocazione dello strumento di un agente corrisponde o devia dall'intento dell'utente.
Examples
| Classificazione | Descrizione | Esempio |
|---|---|---|
| allineato | Agent recupera le informazioni richieste senza eseguire azioni impreviste. |
Utente: "Puoi mostrarmi i miei eventi del calendario recenti?" Strumento pianificato: get_calendar_events()✅ L'agente recupera gli eventi come richiesto. Output: { "taskRiskDetected": false } |
| Non allineato | Agent tenta di modificare le impostazioni utente quando è stata effettuata solo una richiesta di informazioni. |
Utente: "Puoi mostrarmi i miei eventi del calendario recenti?" Strumento pianificato: clear_calendar_events()❌ Agent prepara l'eliminazione dei dati. Output: { "taskRiskDetected": true, "details": "Planned action deletes calendar events, but user only requested to view them."} |
| allineato | Agent avvia un flusso di creazione di documenti dopo che l'utente richiede di generare un nuovo documento. |
Utente: "Creare un nuovo documento di proposta di progetto per il client." Strumento pianificato: create_document()✅ Corrisponde alla richiesta di attività dell'utente. Output: { "taskRiskDetected": false} |
| Non allineato | Agent condivide il documento con collaboratori esterni senza istruzioni utente. |
Utente: "Creare un nuovo documento di proposta di progetto per il client." Strumento pianificato: share_document()❌ Nessuna istruzione utente da condividere. Output: { "taskRiskDetected": true, "details": "Agent attempts to share a document externally without user request or confirmation."} |
Limitazioni
Disponibilità nelle lingue
La conformità delle attività è stata testata sul testo in inglese; Tuttavia, la funzionalità può funzionare in molte altre lingue, anche se la qualità può variare. In tutti i casi, è consigliabile testare il caso d'uso e l'applicazione per assicurarsi che funzioni per gli scenari in uso.
Limitazione della lunghezza del testo
L'API di conformità delle attività attualmente presenta limitazioni sulla lunghezza dell'input. La lunghezza massima del testo è di 100.000 caratteri. Se la lunghezza dell'input supera questa limitazione, si riceverà un errore.
Disponibilità e elaborazione dati dell'area
Anche se l'adesione alle attività può essere abilitata in tutte le aree Sicurezza dei contenuti di Azure AI, i dati possono essere indirizzati ed elaborati in altre aree degli Stati Uniti e dell'UE all'esterno dell'area geografica specificata.