注释
本文介绍了由 标准线束驱动的代理或代理流中使用的功能。
请使用 Copilot Studio 中的监控页面,查看对话式智能体在分析会话中的表现。 识别对话的成功或破裂之处,审查用户反馈,寻找改进回答和工具使用的机会。
查看以下方面:
- 摘要、概览和节省区域会显示关键洞察、关键绩效指标 (KPI) 以及预计节省的时间和成本。
- 自定义指标(预览)部分允许你为座席的用例定义业务专用指标。
- “有效性”部分通过显示对话成功的位置、细分位置以及用户对结果的感觉,帮助你评估用户体验的质量。
- “ 使用 ”部分通过展示代理回答问题的方式、可靠工具和知识源如何支持这些答案,以及目标更新可提高覆盖范围和一致性,从而帮助你提高操作性能。
可以查看过去 360 天内发生的事件的分析。
自定义指标(预览版)
[此部分是预发布文档,需要更改。]
在自定义指标部分中,您最多可使用自然语言定义三个业务特定指标。 Copilot Studio 会根据你的描述生成分类类别或数值评分标准。 预览使用示例会话来帮助你测试该指标。 保存后,Copilot Studio会计算过去七天所有相关会话的指标,然后每天计算新会话的指标。
Important
本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。
如果你拥有 Bot Transcript Viewer 安全角色,可以选择一个类别或结果,深入查看客户会话列表。 你可以从会议列表中查看指标结果背后的推理,并打开单个会议的文字记录。
在 用自定义指标监控您的代理(预览) 中了解更多关于创建、测试和优化指标的信息。
有效性
“有效性”部分显示从会话的反应、代理响应、调查结果和情绪评分中收集的用户反馈。 有效性分为多个子部分:
- 对话结果:了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
- 反馈:用户反馈,包括点赞/点踩反馈以及针对特定智能体回复的用户评论。
- 客户满意度:显示客户满意度(CSAT)分数。
- 情感(预览):针对整个会话的 AI 情感分析。
- 代理:请参阅子代理和连接的代理的呼叫量指标、成功率和当前状态。
系统将反馈数据存储在Dataverse的 对话转录表 中。
对话结果
对话结果部分显示的图表记录了代理与用户之间每个会话的结果类型。
该图表显示了会话结果的堆叠直方图或堆叠面积图。 已解决、升级、放弃和未参与在图例中各自有对应颜色。 y 轴显示会话数量。
要查看特定日期的结果指标,使用图表图例识别结果,然后将鼠标悬停在当天的该段上。
要下载对话结果数据,请打开图表菜单并选择 下载CSV。
注释
如果你在下载时从图表中移除任何结果,它们的数据就不会出现在CSV中。
点击图表中的查看详情可展开侧边面板,查看对话结果的详细信息。 对话结果侧边面板包含:
- 显示会话结果的饼图分布,呈现以下结果类型的相对权重(百分比形式):已解决、已升级及已放弃结果的相对权重(百分比)。
- 堆叠条形图展示所有已解决会话结果中确认解决与暗示解决结果原因的相对权重(百分比)。
- 一个堆叠条形图,显示所有升级会话结果中系统预期、系统非预期和用户请求结果原因的相对权重(百分比)。
- 导致每种结果的重要主题。
注释
将鼠标悬停在饼图或堆叠条形图的任何扇区上,即可查看包含原始计数信息的工具提示。
会话属于以下两种状态之一:
未参与:当用户与您的智能体交互或智能体向用户发送主动消息时,会话将启动。 会话以未参与状态开始。
参与:用户主动与代理交互。 基于代理的编排模式,行为表现存在差异。
经典协调机制:当以下任一主题被触发时,会话即被激活:
- 用户直接触发的自定义主题
- 呈报主题
- 备用主题
- 对话推进主题
生成式 AI 编排:当用户直接触发计划并包含以下元素之一时,会话进入互动状态:
- 非系统主题
- 呈报主题
- 备用主题
- 知识来源
- 工具
参与的会话具有以下结果之一:
| 结果类别 | 结果 | Description |
|---|---|---|
| 已解析 | 会话成功结束。 已解决会话分为两类:确认解决与默认解决。 | |
| 已确认解决 | 当触发对话结束主题且用户确认交互成功时,该会话被视为已确认解决。 | |
| 隐含问题已解决 | 当会话在未获用户确认的情况下,基于智能体判断逻辑完成时,该会话被视为隐含解决。
解析的隐含状态取决于您的代理是使用经典还是生成式AI编排: - 经典编排:当触发结束对话主题且用户未确认即让会话超时,该会话被视为隐含解决。 - 生成式 AI 编排:当会话超时且无剩余活动计划时,视为隐含解决。 正在等待用户输入的计划即为一个活跃计划。 |
|
| 已呈报 | 当触发升级主题或运行转接到代理节点时,会话结束并被视为已升级(当前分析会话结束,无论会话是否转移到人工代理)。 升级会话分为三类:系统计划、系统非预期和用户请求。 | |
| 系统预设 | 会话因制作者设定的自动业务规则而自动升级。 升级是对话中预期的结果,不需要调查或改变。 示例:用户希望向第三方转账超过 25,000 美元。 该金额超出业务规则的阈值,因此会话自动升级。 |
|
| 系统非预期 | 当会话触发制作者设定的一个或多个阈值时,系统将自动呈报。 通常,这种结果表明用户被困在对话中,需要帮助。 示例:某会话因三次执行特定任务失败而呈报。 |
|
| 用户请求 | 会话被升级是因为对话过程中存在明确的用户请求。 示例:用户输入 Transfer me to an agent。 |
|
| 放弃 | 当参与的会话在 30 分钟后超时且未达到已解决或已升级状态时,会话将结束,被视为已放弃。 |
您还可以通过工具代码编辑器,使用参数 conversationOutcome 设置工具的结果。 例如,conversationOutcome: ResolvedConfirmed 表示确认成功或 conversationOutcome: ResolvedImplied 表示暗示成功。
反应
反应 部分显示了用户对代理响应的反应所收集的反馈。 图表统计用户对您代理提供的每个响应选择点赞(正面)或点踩(负面)按钮的次数。
注释
- 发布到 Microsoft Copilot 频道的代理需要在 Microsoft 365 管理中心 获得管理员同意,才能分享用户反馈,包括反应和评论。 您可以在 监测 页面查看这些反馈。 在 Microsoft 365 管理中心 的代理设置中了解更多。
- 来自 Microsoft Copilot 渠道的反应不会在主题和知识源使用部分的反应栏中汇总或计数。
- 查看评论需具备机器人对话记录查看器安全角色权限。
除 Microsoft Copilot 频道外,所有频道的“回应”功能默认均为开启状态。 如果需要,您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明:
打开代理程序,进入 设置,找到 用户反馈 部分。
将对代理消息的用户反应收集功能设置为开或关。
添加或编辑免责声明,让用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。
具有机器人对话记录查看权限的用户可以深入查看单个反应对应的客服回复,并按用户评论筛选。
查看一段时间内的反应趋势
选择查看详情以在回应磁贴上打开回应侧面板。 该面板显示了一段时间内的正面和负面反应(从 拇指向上 和 拇指向下)的趋势。
客户满意度
“ 客户满意度 ”部分根据用户调查结果显示有关用户满意度的信息:
满意度评分:根据用户响应会话结束时调查请求的会话中,客户满意度 (CSAT) 平均分计算得出的 5 分制评分。
注释
分数
1和2映射到不满意,分数3被视为中立,分数4和5映射到满意。会话满意度:一个堆积条形图,用于可视化调查中每个得分类别的相对权重,即
Dissatisfied、Neutral和Satisfied。 将鼠标悬停在图表的每个部分上,可以看到样本大小以及每个分数类别权重的数值。 对于拥有机器人会话查看器特权的用户,您可以深入查看根据所选栏段部分筛选的客户会话列表。
选择“ 查看详细信息 ”以查看所选时间段内满意度分数趋势。
情绪(预览版)
[此部分是预发布文档,需要更改。]
情绪分析使用 AI 从会话示例分析用户消息,以评估代理的总体用户情绪。 该数值表示负面用户情绪的会话百分比。
Important
本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。
选择“ 查看详细信息 ”以查看每个情绪类别(即 Positive, Neutral和 Negative)的相对权重的情绪数据。
可以在 “设置”下打开和关闭代理的情绪分析。 关闭情绪分析后,不会在会话期间分析用户情绪。
转到 “设置” 并选择“ 高级”。
请开启或关闭 情感分析 。
代理
智能体列表显示主要智能体的已连接智能体和子智能体的高级数量、性能和状态指标。 此列表在类型列中显示所列智能体与主智能体之间的关系类型。 如果智能体是子智能体,其类型为 Child。 连接的代理被标记为某一类型,以反映它们的创建位置(例如,Copilot Studio,Azure AI Foundry)。 每个列出的智能体的通话指标描述从主智能体到已连接智能体或子智能体的通话量。
成功率反映成功完成的通话比例(占所有通话的百分比 %)。
状态指示每个已连接代理和子代理的单独管理状态。
默认情况下,代理列表显示你主代理的前五位连接代理和子代理,按问题总数从高到低排序。 如果有五个以上智能体,选择查看全部将显示所有智能体。
注释
仅当有五个以上已连接智能体或子智能体连接到主要智能体时,查看全部按钮才可见。
Use
“ 使用 ”部分可帮助你了解用户如何与代理交互以及提高答案可靠性的位置。 使用情况分散在多个小节中:
- 主题: 主题 通过将用户问题聚类化为 AI 建议的类别来帮助你获取分析见解。
- 生成的回答率和质量:识别您的智能体何时难以回答问题,以及它如何利用知识来源提升回答率和质量。
- 工具使用:了解工具的使用频率及其成功频率可帮助你了解这些工具是否对用户有用且成功。
- 知识源使用:了解使用各个知识源的频率以及返回错误的频率有助于提高代理答案的质量和覆盖范围。
生成的答复率与质量
通过生成式答案,您的客服可以利用人工智能,利用知识来源和您提供的指示,生成用户问题的答案。 但是,代理可能不能回答所有用户查询。 生成的答案率和质量部分跟踪、组织和分析未回答的查询和答案质量,以指导你提高代理的答案性能。
答案率显示所选时间段内已回答和未回答的问题数,以及一段时间内的百分比变化。
答案质量 使用 AI 衡量答案的质量。 Copilot Studio 分析已回答问题的样本,以评估其完整性、相关性和合理性。 如果回答符合设定的标准,Copilot Studio 会将其标记为良好质量。 不符合该标准的答案会被标记为“质量差”。 对于差的答案,Copilot Studio会给出该质量评分的原因,并显示被分配到每个类别的答案所占百分比。
将鼠标悬停在图表柱状图的任意分段上,即可查看良好或欠佳质量标签中单个原因的相对权重。 工具提示同时显示用于计算百分比值的采样答复数量。
在图表下方图例中,悬停于任何质量标签原因可突出显示该原因在图表中的位置。
选择条形图的一段,以打开按该响应质量筛选 的用户问题 页面。 选择 “查看问题” 以查看配置时间段内 所有问题的未筛选列表。
工具使用
工具使用部分展示了一张图表和指标,追踪你的工具随时间启动的频率,以及你的智能体成功使用这些工具的频率。 它还显示了代理使用每个工具频率的趋势指标,以及成功调用工具的百分比。
图表显示了在 Monitor 页面顶部定义的日期期间内使用的五大工具。
在图表下方的图例中,将鼠标悬停在任意一个工具上,以在图表中高亮该工具。
若要打开侧面板,其中包含指定时间段内使用的所有工具的列表以及趋势指示器,请选择图表上的 “查看详细信息 ”。 在工具使用面板中,可以显示每个工具所用问题百分比的计算。 如果智能体具有子智能体,可以选择同时显示主要智能体和子智能体(全部)、仅主要智能体或仅子智能体的计算。