カスタム メトリックを使用してエージェントを分析する (プレビュー)

[この記事はプレリリース ドキュメントであり、変更されることがあります]

自然言語を使用して、Copilot Studio作成するカスタム メトリックを最大 3 つ定義します。 エージェントのカスタム メトリックを調整して、エージェントの結果と会話型メッセージに対するビジネスへの影響を測定します。 [分析] ページの [カスタム メトリック] の下に、ラベル付きドーナツ グラフとしてカスタム メトリックをグラフィカルに表示します。

Important

この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。

プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。

運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。

重要な価値提案

この機能では、AI を使用して、自然言語を使用して定義したカスタム メトリックの結果を計算するプロンプトを作成します。 このメトリックは、会話型メッセージ (セッション) データのサンプリングに適用されます。 メトリックをエージェントに保存する前に、メトリックを微調整して反復処理できます。 エージェントごとに最大 3 つのカスタム メトリックを作成します。 サンプル セッション データを使用してメトリックをテストし、組み込みの推論を使用して結果を確認できます。 その後、メトリックを調整して、結果とビジネスへの影響をより適切に反映できます。

カスタム メトリックを作成する

  1. エージェントの [分析] ページで、[概要] カードの上にある [カスタム メトリック] を選択します。

    [分析] ページの [カスタム メトリック] ボタンのスクリーンショット。

  2. [ カスタム メトリックの作成] で、すべての会話で追跡する結果の観点から、プレーンな言語で測定する内容を記述します。

    [Create a custom metric]\(カスタム メトリックの作成\) のメトリックの説明画面のスクリーンショット。

  3. 定義したメトリックに対して考えられる各結果について、結果カテゴリを追加し、このメトリックの結果がいつ発生するかを AI が認識する方法を説明します。

    Note

    • メトリックごとに、最大 10 個の結果カテゴリを定義できます。
    • 一致しないセッション結果は、既定 のカテゴリ Other にマップされます。

  4. 次へを選択します。

    AI は、メトリックと結果の説明、およびエージェントの既存のメタデータを使用してプロンプトを作成します。 プロンプトは、セッション データに基づいて新しいメトリックの結果を計算します。 新しいカスタム メトリックのタイルが [プレビュー ] タブに表示されます。

  5. カスタム メトリックのプロンプトをプレビューして反復処理します。 プロンプトは、カスタム メトリックの結果を計算するために使用されます。

カスタム メトリックのプロンプトをプレビューして反復処理する

カスタム メトリック プレビュー機能を使用して、メトリックのプロンプトを微調整します。 [カスタム メトリックの作成] パネルで カスタム メトリック をテストすると、メトリックは最大 20 セッションのサンプリングからデータを描画します。

  1. [ カスタム メトリックの作成] の最初のページで、[ 次へ] を選択します。

  2. [ プレビュー ] を選択すると、タイルにグラフィカルに表示されたときにカスタム メトリックがどのように表示されるかが表示されます。

    カスタム メトリック タイル プレビューのスクリーンショット。

  3. [ 結果 ] を選択すると、サンプリングされたデータの結果の一覧と、各結果の AI の推論の説明が表示されます。

    サンプル データからのカスタム メトリックの結果のスクリーンショット。

  4. 理由と結果が正しいかどうかを評価します。

  5. [プロンプト] を選択すると、カスタム メトリックで測定および計算する内容と、結果カテゴリに関する AI の理解の説明が表示されます。 [ プロンプト ] タブには、結果を生成するために基になるロジックが使用されている内容に関する透明性と分析情報が表示されます。

    AI によって生成されたプロンプトを示す [カスタム メトリックの作成] の [プロンプト] タブのスクリーンショット。

  6. より正確で関連性の高い結果を得るためにプロンプトを調整する場合は、[ カスタム メトリックの作成 ] パネルの最初のページで最初に指定した入力を調整します。 次に、調整されたプロンプトをサンプル データで再テストします。

  7. [ メトリックの保存] を選択します。

    新しいカスタム メトリック タイルが [Analytics ] ページの [ カスタム メトリック] の下に表示されます。

    メトリックが作成されると、過去 7 日間のセッション データに基づいて、新しいメトリックの出力が 1 回だけ計算されます。 エージェントのセッション数によっては、この初期計算が完了するまでに時間がかかる場合があります。 最初の計算の後、過去 1 日のセッションのデータに基づいてメトリックの出力が毎日計算されます。 毎日の計算はタイムゾーンで夜間に行われ、メトリックが最新の状態に保たれます。

    カスタム メトリックの初期計算と夜間計算の両方のすべての計算は、期間のすべてのセッションではなく、セッションのサンプルで実行されます。

カスタム メトリックを削除する

  1. エージェントの [分析] ページで、削除するカスタム メトリック タイルで、3 つのドット (...) を選択し、[削除] を選択 します。

  2. 確認ダイアログで、[削除] を選択 します。

  • Last updated on