注释
本文介绍了由 标准线束驱动的代理或代理流中使用的功能。
[本文是预发行文档,可能会有所更改。]
使用自定义指标来衡量针对您的代理和业务场景的具体结果。 用自然语言描述您要度量的内容,Copilot Studio 生成指标配置,并针对您的智能体的对话会话对其进行评估。
你可以为一个代理创建最多三个自定义指标。 自定义指标支持使用经典或生成式编排的对话代理。 它们不支持自治代理或代理流程。
Important
本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。
Prerequisites
在创建自定义指标之前:
- 配置和发布您的智能体。
- 确保您的智能体在 Monitor 中有可用的对话会话。 当代理的会话数据不足时,可能无法获得有意义的预览。
- 定义一个可根据会话期间交换的消息进行评估的指标。 自定义指标无法验证对话之外发生的结果,比如后来在外部系统中完成的交易。
你需要 Bot Transcript Viewer 安全角色来打开预览和计算结果中使用的会话消息。 在共享智能体的分析中了解详细信息。
自定义度量类型
Copilot Studio 是根据你的描述确定指标类型。 每个自定义指标对每个适用会话产生一个结果。
| 指标类型 | Description |
|---|---|
| 二元分类 | 将会话分组到定义的结果和默认的其他类别。 |
| 多类分类 | 将会话分组到已生成的类别中。 一个指标最多可包含10个类别。 与生成类别不匹配的会话分组到其他下。 |
| 数值评分 | 为每个相关会话分配一个数值分数,并计算平均得分。 空结果意味着会话中没有该指标的数据;它不代表零分。 |
从一个例子开始
Copilot Studio提供了可以作为起点的示例。 当你选择一个例子时,将其描述与你座席对话中的信号和结果相匹配。
| Example | 指标类型 | 量化指标 |
|---|---|---|
| 需要跟进 | 二元分类 | 确定对话是否会引发后续行动,如回电、预约、调查或升级。 |
| 业务成果类型 | 多类分类 | 将最终有意义的结果归类为已完成操作、需跟进、已提供信息或无业务成果。 |
| 潜在客户质量评分 | 数值评分 | 根据客户的需求、契合度、紧迫性和意图,给出1到3的评分。 没有相关业务或商业背景的会话不会返回任何数据。 |
创建自定义指标
在您的代理的监控页面上,在汇总卡片上方选择自定义指标。
在 创建自定义指标时,请从提供的示例开始,或者从零开始创建一个指标。
如需了解更多信息,请参见“从示例开始”。
描述你希望在智能体对话中衡量的内容。
定义一个具体且可观察的结果。 例如,描述表明对话是否需要后续跟进的信号,而非输入“衡量成功”这类宽泛目标。
选择下一步。
Copilot Studio 利用您的描述、智能体信息和示例会话来:
- 验证该指标是否可以从现有会话数据中计算出来。
- 生成一个度量标题。
- 确定该指标是二元分类、多类别分类还是数值评分。
- 针对分类指标生成类别及其条件。
- 生成一个数值指标的评分标准。
- 生成一个只读计算提示。
- 选择一个兼容的可视化。
如果该指标不被支持,Copilot Studio会解释原因并提供改进描述的指导。 您的原始描述仍然保留,可供您编辑。
预览并审查生成的指标。 在 预览自定义指标中了解更多。
选择“ 保存指标”。
自定义指标显示在监视页面的自定义指标部分中。 Copilot Studio 计算前七天适用会话的指标。 初步计算后,Copilot Studio 每天计算新会话的指标。
预览自定义指标
预览版会使用您的智能体的会话示例,帮助您在保存指标前评估指标。 样本可以包含多天的会话,以便你回顾汇总结果和趋势。 预览结果并不代表所有会话的计算结果。
在 创建自定义指标时,选择 “下一步 ”以验证并生成指标。
在 预览中查看汇总结果和生成的可视化。
选择 结果 以审查代表性会话、分配给每个会话的结果以及该结果的AI生成推理。
选择会话以查看其消息。
注释
你需要具有 Bot Transcript Viewer 安全角色才能审查会话消息。
选择提示,查看 Copilot Studio 如何解读您的指标描述并计算其结果。
生成的计算提示是只读的。
如果结果与你的意图不符,返回度量描述,细化并再次预览度量。
当预览版达到预期结果时,选择保存指标。
Important
AI生成的指标配置、分类、评分和推理可能不准确。 在保存指标前,请查看预览结果和推理。 将自定义指标视为对话数据的分析,而非在对话之外发生的结果的权威记录。
了解自定义指标的计算方式
预览和保存的指标对会话数据的使用方式不同:
| 计算 | 使用的会话数据 |
|---|---|
| 预览版 | 用于验证和测试该指标的历史会话样本。 |
| 初始已保存的计算 | 前七天所有适用的会议。 |
| 每日计算 | 所有适用的新会话可用于每日计算。 |
自定义指标评估会话中的对话消息,包括自适应卡片消息中发送的内容。 它们不评估工具调用的详细信息或存储在外部系统中的信息。
可视化取决于指标的类型。 分类指标显示会话在各类别中的分布情况。 数值指标显示适用会话的平均得分。 计算结果还显示使用的会话数量和指标的趋势。
编辑自定义指标
Important
保存变更会重新创建自定义指标,并删除其之前的计算历史。 Copilot Studio随后重新计算前七天适用会话的指标。
在你的客服 监控页面, 选择你想编辑的自定义指标上的三个点(...),然后选择 编辑。
更新度量描述。
选择 “下一步” 以重新生成并预览该指标。
查看生成的配置、结果、推理和计算提示。
选择“ 保存指标”。
编辑之前体验中创建的指标
当你编辑之前自定义度量体验中创建的指标时,Copilot Studio会将原始描述、类别名称和类别标准合并到指标描述字段中。 请审查合并描述,确保其保持指标的初衷。
保存编辑后的指标后,会使用新的自定义指标体验重新创建该指标,并删除之前的计算历史。
删除自定义指标
在你座席的 监控 页面,选择你想删除的自定义指标上的三个点(...),然后选择 删除。
在确认对话框中,选择“ 删除”。
限制
- 你可以为一个代理创建最多三个自定义指标。
- 自定义指标支持使用经典或生成式编排的对话代理。 不支持自主智能体和智能体流。
- 自定义指标为每个适用会话生成一个结果。
- 数值指标支持采用平均聚合方式进行评分。 它们不会提取和汇总交易金额或其他任意的数值。
- 自定义指标使用对话消息,包括 Adaptive Card 消息内容。 工具调用细节和外部系统数据不包含在内。
- 预览使用示例会话。 保存的计算会使用该计算期间所有可用的会话。
- 当指标描述模糊或可用会话中没有计算所需信息时,可能无法产生有意义的结果。
- 个别的分类、分数和推理可能不准确。 当预览结果与预期测量不符时,汇总结果并细化指标描述。
- 如果您对代理的指令或配置做出实质性更改,请审查其自定义指标,确保它们仍然衡量预期结果。