よく寄せられる質問 (FAQ) では、Copilot Studioの分析支援機能の AI 効果について説明します。
生成 AI は分析にどのように使用されますか?
Copilot Studioでは、AI を使用して生成応答の品質を測定し、クラスターを作成します。 これらのクラスターは、エージェントのパフォーマンスに関する分析情報を提供します。
生成応答では、 選択したナレッジ ソースを使用して応答を生成します。 この機能では、提供したフィードバックも収集されます。 分析では、大規模な言語モデル (LLM) を使用して、ユーザーとエージェント間のチャット メッセージを生成応答の品質を示すレベルに分類します。 Copilot Studioこれらのインジケーターをコンパイルして、エージェントの全体的なパフォーマンスの概要を示します。
クラスタリングは LLM を使用して、ユーザーのメッセージを共通の主題に基づいてグループに分類し、各グループに説明的な名前を付けます。 Copilot Studioは、これらのクラスターの名前を使用して、エージェントを改善するために使用できるさまざまな種類の分析情報を提供します。
生成応答の品質
意図された使用目的に対する応答の品質はどのようなものですか？
応答分析の品質を使用して、エージェントの使用状況とパフォーマンスに関する分析情報を検出し、エージェントの改善のためのアクションを作成します。 現時点では、分析を使用して、エージェントの生成応答の品質が期待値を満たしているかどうかを把握できます。
全体的な品質に加えて、応答分析の品質は、エージェントのパフォーマンスが低い、または目的の目標を実行できない領域を識別します。 生成応答のパフォーマンスが低い領域を定義し、その品質を向上させるための手順を実行できます。
パフォーマンスの低下を特定する場合は、品質の向上に役立つベスト プラクティスに従ってください。 たとえば、パフォーマンスの低いナレッジ ソースを特定した後は、ナレッジ ソースを編集したり、ナレッジ ソースを複数のより重点的なソースに分割して品質を向上させることができます。
応答の品質に関する分析を作成するために使用するデータは何ですか?
応答分析の品質は、 生成応答 応答のサンプルを使用して計算されます。 生成モデルが生成応答に使用するには、ユーザーのクエリ、エージェントの応答、関連するナレッジソースが必要です。
応答分析の品質では、その情報を使用して、生成応答の品質が良好かどうか、そうでない場合は品質が低い理由を評価します。 たとえば、応答の質によって、不完全な応答、関連性のない応答、あるいは十分に根拠付けられていない応答を特定できます。
応答分析の品質にはどのような制限があり、ユーザーはこれらの制限の影響を最小限に抑えることができますか?
応答分析の品質では、生成されたすべての応答が使用されるわけではありません。 代わりに、分析はユーザー エージェント セッションのサンプルを測定します。 生成応答の成功数が最小数未満のエージェントは、品質の応答分析の概要を受け取ることはできません。
分析では個々の応答が正確に評価されない場合があります。 集計レベルでは、ほとんどのケースで正確である必要があります。
応答の質分析は、低品質パフォーマンスを引き起こした具体的なクエリの内訳を提供しません。 また、低品質な回答が発生した際に使用された、一般的なナレッジソースやトピックの内訳も提供していません。
生成的な知識を使用する回答については、分析は計算されません。
回答の完全性は回答の質を評価する指標の一つです。 この指標は、回答が検索された文書の内容にどれだけ完全に対応しているかを測定します。
もしシステムが質問に追加情報を含む関連文書を取得しなければ、その文書の完全性指標は評価されません。
責任ある AI に対するCopilot Studio内の応答分析の品質に対して、どのような保護が実施されていますか?
エージェントのユーザーは分析結果を確認できません。分析結果はエージェント作成者と管理者のみが使用できます。
作成者と管理者は、応答の品質に関する分析機能を使用して、良質な回答の割合と、低品質な回答の事前定義された理由を確認することのみが可能です。 作成者は良質な回答の割合と事前定義された理由のみを確認できます。
開発中に回答の品質に関する分析機能を徹底的にテストし、良好なパフォーマンスを確保しました。 しかし、稀に反応の質評価が不正確になることがあります。
会話セッションにおける感情分析
感情分析の意図された用途は何ですか?
感情分析を使用して、エージェントへのユーザー メッセージの AI 分析に基づいて、会話セッションでのユーザー満足度のレベルを理解します。 セッションの全体的なセンチメント (肯定的、否定的、または中立) を理解し、理由を調査し、それに対処するための対策を講じることができます。
会話セッションで感情を定義するために使われるデータは何でしょうか?
Copilot Studioは、会話セッションのサンプル セットについて、エージェントへのユーザー メッセージに基づいて感情分析を計算します。
センチメント分析はその情報をもとに、セッション中のユーザーの満足度が肯定的か否定的か中立的かを評価します。 例えば、ユーザーはエージェントとのやり取りに基づいて、フラストレーションや不満を示す言葉や口調を使うことができます。 この場合、そのセッションはネガティブセンチメントとして分類されます。
感情分析の限界は何であり、ユーザーはこれらの制約をどのように緩和できるのでしょうか?
感情分析はすべての会話セッションで計算されるわけではありません。 代わりに、分析はユーザー エージェント セッションのサンプルを測定します。 1日の成功した生成回答数を最低限満たさないエージェントは、感情スコアを受け取ることができません。
感情分析は現在、生成回答に依存しており、エージェントの感情スコアを計算するために最低限の1日の成功回答数が必要です。
セッションのセンチメントを計算するには、少なくとも2つのユーザーメッセージが必要です。 さらに、現在の技術的制約により、合計26件を超えるセッション(ユーザーメッセージとエージェントメッセージの両方を含む)では感情分析は行われません
センチメント分析は、センチメントスコアに至った特定のユーザーメッセージの内訳を提供しません。
責任ある AI に対するCopilot Studio内の感情分析にはどのような保護が実施されていますか?
エージェントのユーザーは分析結果を確認できません。分析結果はエージェント作成者と管理者のみが使用できます。
感情分析を使用して、すべてのセッションのセンチメントの内訳を確認することしかできません。
開発中に感情分析を徹底的にテストし、良好なパフォーマンスを確保しました。 しかし、稀に感情評価が正確でないこともあります。
ユーザーの質問のテーマ
テーマを使用する目的は何ですか。
この機能により、多数のユーザー クエリが自動的に分析され、テーマ と呼ばれる大まかなトピックにグループ化されます。 各テーマは、ユーザーが質問した単一の大まかな件名を表します。 テーマは、ユーザー コンテンツのデータに基づく教師なしビューを提供します。 このビューは、何千ものクエリを手動で確認することなく、ユーザーが最も関心を持っていることをチームが理解するのに役立ちます。
クラスターの作成にはどのようなデータを使用しますか。
テーマ機能は、生成的な回答をトリガーするユーザー クエリを使用します。 テーマは、過去 7 日間のすべてのクエリを分析して、提案された新しいテーマを生成します。
テーマでは、グループ クエリにセマンティック類似性が使用されます。 言語モデルを使用して、各クラスターのタイトルと説明を生成します。 クラスタリングの品質を向上させるために、作成者からのフィードバック (良い/悪い) も収集されます。
テーマのクラスタリングにはどのような制限事項がありますか。また、ユーザーがこれらの制限事項をどのようして軽減すればよいですか。
テーマへのクラスタリングの成功は、クエリの量によって異なります。 十分なクエリがない場合、またはクエリが相互に関連付けられていない場合、Copilot Studioは、クエリを過度に広いテーマまたは過度に狭いテーマにクラスター化する可能性があります。
テーマは、類似のトピックを分割したり、関連のないトピックをマージしたりする場合があります。
クエリ内の言語のシフトは、時間の経過に伴うクラスターの一貫性に影響する可能性があります。
テーマを定期的に確認し、名前付けの品質を向上させるためのフィードバックを提供できます。
責任ある AI の観点から、Copilot Studio内でテーマに対してどのような保護が実施されていますか?
テーマは、作成者と管理者にのみ表示されます。 コンテンツ モデレーションは、有害または不適切な出力のリスクを軽減するために名前と説明を生成するときに適用されます。
カスタム メトリック分析
カスタム メトリックの使用目的は何ですか?
作成者は、カスタム メトリック分析を使用して、会話エージェントがビジネス成果に与える影響を把握します。 これらのメトリックは、節約分析を補完します。 カスタム メトリックの例には、解決率、顧客の意図の分類、およびその他のドメイン固有の結果が含まれます。
カスタム メトリックは、エージェントが意図した目標を見逃している場所を示すことができます。 作成者は、測定対象を定義し、実際のセッション データに対してメトリックをテストし、結果に基づいて定義を絞り込むことができます。
カスタム メトリックの計算に使用されるデータは何ですか?
カスタム メトリックは、過去のエージェント セッションのサンプルを使用して計算されます。 この計算では、セッション中に交換された会話型メッセージが使用されます。
AI モデルは、メトリック定義に基づいてセッション データを分類します。 エージェントは、サンプル全体の結果を集計して、選択した期間の全体的なメトリック パフォーマンスを表示します。
カスタム メトリックの制限事項と、ユーザーが制限の影響を最小限に抑える方法
カスタム メトリックは、すべてのエージェント セッションを使用して計算されるわけではありません。 代わりに、選択した期間のセッションのサンプルを測定します。 結果はサンプルに基づいているため、正確な数値ではなく、方向インジケーターとして扱う必要があります。
メトリックの計算は、メトリックを解釈する際のメッセージのトランスクリプトに基づくことを考慮する必要があります。 トピックやツールなど、主にメッセージの外部で発生する動作に関する結論を出さないようにします。
AI モデルによってセッションが誤って分類される可能性があります。 集計結果は一般に正確です。 定義されたカテゴリと一致しないセッションは、フォールバック (その他) カテゴリに配置されます。 テスト結果が予想される結果と一致しない場合は、メトリックの説明とカテゴリ定義を更新できます。
メトリックの定義後にエージェントの指示または構成が大幅に変更された場合、メトリックはエージェントの更新された動作を正確に反映しなくなる可能性があります。 エージェントに実質的な変更を加えた後に、カスタムメトリックを見直す必要があります。
責任ある AI のCopilot Studio内のカスタム メトリックに対してどのような保護が実施されていますか?
カスタム メトリックの結果は、エージェント作成者と管理者のみが使用できます。 エージェントのユーザーは、分析結果にアクセスできません。
保存する前に、すべてのカスタム メトリックを確認して承認します。 メトリック定義中に、サンプル セッション データに対してメトリックをテストし、個々の結果とモデルの推論を確認します。 結果が期待を満たさない場合は、メトリックを更新または破棄できます。 メトリックは、明示的な確認なしでは適用されません。
セッションの分類に使用される AI によって生成されたプロンプトが UI に表示されるので、モデルがメトリック定義をどのように解釈するかを理解できます。 カスタム メトリックはいつでも編集または削除できます。
まれに、個々のセッション分類が不正確になる場合があります。 結果は、個々のセッション レベルではなく集計で解釈する必要があります。