Analisar seu agente com métricas personalizadas (versão prévia)

[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]

Use linguagem natural para definir até três métricas personalizadas que você deseja que o Copilot Studio crie. Personalize as métricas do agente para medir os resultados do agente e o impacto nos negócios sobre as mensagens de conversa. Exiba suas métricas personalizadas graficamente como grafos de rosca rotulados em métricas personalizadas na página Análise .

Proposta de valor principal

Esse recurso usa a IA para criar um prompt que calcula os resultados de uma métrica personalizada que você define usando a linguagem natural. A métrica se aplica a uma amostragem de dados de mensagem de conversa (sessão). Você pode refinar e iterar a métrica antes de salvá-la em seu agente. Crie até três métricas personalizadas por agente. Você pode testar as métricas usando dados de sessão de exemplo e examinar os resultados usando o raciocínio interno. Em seguida, você pode refinar as métricas para refletir melhor os resultados e o impacto nos negócios.

Criar uma métrica personalizada

1. Na página Análises do agente, selecione métricas personalizadas acima do cartão Resumo.

   

2. Em Criar uma métrica personalizada, descreva o que você deseja medir em linguagem simples, em termos de quais resultados você deseja acompanhar em todas as conversas.

   

3. Para cada resultado possível que você deseja para a métrica definida, adicione uma categoria de resultado e descreva como a IA deve reconhecer quando esse resultado de métrica ocorrer.

   Note

   • Para cada métrica, você pode definir até 10 categorias de resultados.
   • Todos os resultados de sessão sem correspondência são mapeados para a categoria padrão Outros.

4. Selecione Avançar.

   IA usa as suas descrições de métricas e resultados, juntamente com os metadados existentes do agente, para criar um prompt. O prompt calcula os resultados da nova métrica com base nos dados da sessão. O bloco da nova métrica personalizada aparece na guia Visualização .

5. Visualizar e iterar no prompt da métrica personalizada. O comando prompt é usado para calcular os resultados de métricas personalizadas.

Visualizar e iterar no prompt da métrica personalizada

Use a funcionalidade de visualização de métrica personalizada para ajustar o prompt da métrica. Ao testar sua métrica personalizada no painel Criar uma métrica personalizada , a métrica se baseia em dados de uma amostragem de até 20 sessões.

1. Na primeira página de Criar uma métrica personalizada, selecione Avançar.

2. Selecione Visualização para exibir a aparência da métrica personalizada quando exibida graficamente em um bloco.

   

3. Selecione Resultados para exibir uma lista de resultados dos dados amostrados e uma descrição do raciocínio da IA para cada resultado.

   

4. Avalie se o raciocínio e os resultados estão corretos.

5. Selecione Prompt para ver uma descrição do entendimento da IA sobre o que você deseja que a métrica personalizada meça e calcule e com quais categorias de resultados. A guia Prompt fornece transparência e insights sobre qual lógica subjacente está sendo usada para gerar os resultados.

   

6. Se você quiser ajustar seu prompt para fornecer resultados mais precisos ou mais relevantes, faça ajustes nas entradas fornecidas inicialmente na primeira página do painel Criar uma métrica personalizada . Em seguida, verifique novamente o prompt ajustado com os dados de exemplo.

7. Selecione Salvar métrica.

   O novo bloco de métrica personalizado aparece na página Análise em métricas personalizadas.

   Depois que a métrica é criada, há um cálculo único da saída da nova métrica com base nos dados da sessão dos últimos sete dias. Esse cálculo inicial pode levar algum tempo para ser concluído, dependendo de quantas sessões o agente tem. Após o cálculo inicial, há um cálculo diário do resultado da métrica com base nos dados das sessões do dia anterior. O cálculo diário ocorre à noite no fuso horário e mantém sua métrica atualizada.

   Todos os cálculos, cálculos iniciais e noturnos, para métricas personalizadas são executados em uma amostra das sessões e não em todas as sessões no período de tempo.

Excluir uma métrica personalizada

1. Na página Análise do agente, no bloco de métrica personalizado que você deseja excluir, selecione os três pontos (...) e, em seguida, selecione Excluir.

2. Na caixa de diálogo de confirmação, selecione Excluir.