[本文是预发行文档,可能会有所更改。]
主题将相关用户问题进行分组,从而触发生成式答案。 通过聚类相关问题,主题可帮助你组织客户意向见解、识别常见主题,并专注于需要改进的领域。 可以浏览主题中的单个问题并监视性能以了解主题级指标。
重要
本文包含Microsoft Copilot Studio预览文档,可能会更改。
预览功能不适用于生产用途,并且可能具有受限功能。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果要生成生产就绪代理,请参阅 Microsoft Copilot Studio 概述。
关键价值主张
主题功能会自动分析过去一周触发生成 AI 响应的所有未分类问题,并基于此分析建议主题。 此过程每周运行一次。 在每周的主题建议运行之间,该功能对触发生成 AI 响应的任何新问题执行每日分类,并将这些数据添加到主题指标。 建议 的主题 列表会定期刷新,以便主题保持相关性并反映最新的用户数据。 此自动刷新可节省时间:
- 持续评估针对新数据的主题相关性。
- 自动将各个问题分类为主题。
- 自动检索每个主题的原始指标数据。
- 计算每个主题的聚合指标数据。
先决条件
若要从“主题”功能获取最大价值,包括查看每个主题的组件问题和答案的功能:
需要机器人记录查看器安全角色才能查看列表及其指标。 只有管理员可以通过在代理共享期间分配 机器人脚本查看器 安全角色来授予此角色。
在 Dataverse 中存储对话记录的环境级别设置处于打开状态。
建议的主题和分类问题
Copilot Studio 根据最近一次提出的问题记录建议主题。 通过定制每个建议的主题以满足组织的结构和客户体验策略,你可以通过特定于主题的关键绩效指标(KPI)获得更好的见解。 这种更深入的粒度使得查找代理性能不佳的位置更容易。
主题可帮助创建者了解用户询问代理的问题以及代理的执行方式。 在基于主题的分析的初始运行中,Copilot Studio 查看过去一周的所有问题,并建议最多 10 个主题根据彼此相似之处对用户问题进行分组。 每个主题包括指标,例如问题总数、答案率和用户反应。 所选分析周期调整 “主题” 列表中的显示数据。
在初始运行后,Copilot Studio 将新问题分类到现有主题,并每周生成一个新的建议主题列表。
注释
- 在 Copilot Studio 生成建议的主题之前,必须在过去七天内记录至少 50 个具有生成答案的问题。
- 触发生成 AI 响应的问题可以分为多个主题。 这种情况在 生成式编排 模式下可能会变得更加常见,在这种模式下,代理应答可能来自多个不同的来源。
- 未分类的任何问题都放入 未分类 的主题中。
- 每周建议的运行可能需要几分钟完成。 在此期间, “主题” 部分不可用。
主题列表
默认情况下, “主题” 列表显示前五个主题,按分类到每个主题的问题总数排名。 选择“ 查看所有 ”以展开列表并显示所有主题。
借助自动每周 主题建议 运行和每日问题分类,主题功能会自动发展,并适应用户行为的变化。
主题 列表 显示每个列出的主题的指标。
| 列 | Description |
|---|---|
| Name | 主题的名称。 |
| 问题总数 | 在配置的时间段内,按此主题分类的问题总数。 |
| 回答的问题 | 导致用户问题答案的总 问题 的比例。 |
| 响应质量 | 在所有响应(基于问题样本)中,具有 Good 质量响应的响应所占比例。 |
| 反应 | 各主题下问题收到的正面(赞)与负面(踩)反馈原始计数。 |
将鼠标悬停在主题上即可看到 “评估 ”按钮。 了解更多关于评估的信息。
注释
为什么在所有已分类的问题生成了 AI 答案的情况下,我的主题中仍然有“未回答的问题”?
根据定义,只有会触发生成式 AI 答案的问题才能被归类为某一主题。 但是,触发一个生成式回答的请求并不等同于对用户查询给出答案。
例如,通常存在连接到知识源的对话增强主题。 在这种情况下,如果无法识别意向,则可能会触发该主题,该主题会调用知识源,即使该知识源中没有问题的答案。
深入探讨主题
重要
要启用钻取功能,以下两项必须同时满足:
已启用以下环境设置:
- 允许智能体负责人和编辑者在其智能体中查看来自对话交互的会话记录。
- 允许对话脚本及其关联的元数据保存在 Dataverse 中。
有关详细信息,请参阅 为单个环境配置记录设置。
Bot Transcript Viewer安全角色已分配给用户。 有关详细信息,请参阅 将用户添加到安全角色。
若要向下钻取到分组到任何一个主题中的问题,请在 “主题” 列表中选择主题。 向下钻取时,将打开特定于所选主题的面板,在主题和单个问题级别显示指标。
注释
主题列表包括:
- 最近 100 个问题分为每个主题。
- 过去 30 天内的问题,无论配置的时间段如何。 如果配置的时间段完全超出过去 30 天,Copilot Studio 将显示列表不可用的通知。
在主题的详细查看面板中,首先呈现主题级别的指标。
| 主题级指标 | Description |
|---|---|
| 问题总数 | 在配置的时间段内,归类到此主题并触发了生成式人工智能响应的问题总数。 |
| 回答的问题 | 生成用户问题答案的此主题的问题总数的比例。 |
| 未回答的问题 | 不参与生成用户问题答案的此主题的问题总数的比例。 |
| 反应 | 在“学习反馈”机制中记录的分类到此主题的问题的原始正面(好评)和负面(差评)反应计数。 |
若要显示回答问题采样的响应质量明细,以及此主题中引用的所有知识源,请选择 “查看详细信息”。
在 主题指标面板 上,要查看有关主题级别的任何一个响应质量值的更多信息,请在 响应质量下,将鼠标悬停在单个条形细分上。 工具提示包括该段的相对权重值,以及为得出该权重值所采样的问题数量。
要在主题中列出的任一知识源层面查看更多信息,请在 “知识源使用”中选择一个单独的知识源。 工具提示包括:
- 引用此知识源的问题总数,以及好评和差评反应的数量。
- 显示引用此知识源的问题其响应质量相对权重的明细的堆积条形图。 将鼠标悬停在条形图的任何段上,可以查看该段的相对权重值以及被采样以到达该值的问题数。
基于主题的问题列表反映了所有触发生成式 AI 响应的问题,并将其归类到该主题中,按每个问题 显示相关指标。
问题级指标包括:
| 问题级维度或指标 | Description |
|---|---|
| 问题(维度) | 归类到此主题并触发了生成式人工智能响应的问题。 |
| 是否已回答? | 用户查询是否已得到答复的问题的响应。 可能的值为 Answered 和 Unanswered。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 回应 | 两个参数,即布尔型 点赞/点踩 指标,以及基于文本的 评论 参数。 |
| 日期 | 问题被问及的日期。 |
| 知识来源 | 本主题中此问题引用的知识源的逗号分隔列表。 |
1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。
如果需要,可以在特定于主题的问题列表页上执行以下操作:
选择列表中的任何问题,在 “问题详细信息 ”面板中显示有关问题的详细信息。 此面板包括:
| 详细的问题级别参数 | Description |
|---|---|
| 时间戳 | 回答问题的最新实例的时间戳。 |
| 用户查询 | 问题已提出。 |
| 响应 | 生成式 AI 响应。 |
| 赞/踩值 | 该问题最近一次被赞/踩参数标记时的对应数值。 |
| 注释 | 除赞/踩反应外,用户可提供的可选额外文本评论。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 原因2 | 如果响应质量是 Poor,此参数将解释原因。 |
1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。
2 如果响应质量为 Good 或未采样问题,则 Reason 参数没有值。
根据主题评估经纪人的回答
注释
在主题页上选择列出的主题的“评估”时,您将在主题级别创建新的测试集。 测试集包括分类到该主题的所有问题,最多包含 100 个问题。 若要对问题列表应用更多筛选,请在创建评估测试集之前先向下钻取主题。 然后, 将筛选应用于列表。 应用所有所需筛选后,从问题列表页中选择“评估”。
可以使用 代理评估(预览版)测试代理对与主题相关的问题的答案。
基于主题的评估测试的是你代理人职责范围中的具体部分。 例如,如果你有客服,你可以将 账单和付款 问题的回答质量与排查等其他用例分开追踪。
了解更多关于从主题创建测试集的方法。