用自定义指标监控你的客服(预览)

注释

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

[本文是预发行文档,可能会有所更改。]

使用自定义指标来衡量针对您的代理和业务场景的具体结果。 用自然语言描述您要度量的内容,Copilot Studio 生成指标配置,并针对您的智能体的对话会话对其进行评估。

你可以为一个代理创建最多三个自定义指标。 自定义指标支持使用经典或生成式编排的对话代理。 它们不支持自治代理或代理流程。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。

Prerequisites

在创建自定义指标之前:

  • 配置和发布您的智能体。
  • 确保您的智能体在 Monitor 中有可用的对话会话。 当代理的会话数据不足时,可能无法获得有意义的预览。
  • 定义一个可根据会话期间交换的消息进行评估的指标。 自定义指标无法验证对话之外发生的结果,比如后来在外部系统中完成的交易。

你需要 Bot Transcript Viewer 安全角色来打开预览和计算结果中使用的会话消息。 在共享智能体的分析中了解详细信息。

自定义度量类型

Copilot Studio 是根据你的描述确定指标类型。 每个自定义指标对每个适用会话产生一个结果。

指标类型 Description
二元分类 将会话分组到定义的结果和默认的其他类别。
多类分类 将会话分组到已生成的类别中。 一个指标最多可包含10个类别。 与生成类别不匹配的会话分组到其他下。
数值评分 为每个相关会话分配一个数值分数,并计算平均得分。 空结果意味着会话中没有该指标的数据;它不代表零分。

从一个例子开始

Copilot Studio提供了可以作为起点的示例。 当你选择一个例子时,将其描述与你座席对话中的信号和结果相匹配。

Example 指标类型 量化指标
需要跟进 二元分类 确定对话是否会引发后续行动,如回电、预约、调查或升级。
业务成果类型 多类分类 将最终有意义的结果归类为已完成操作、需跟进、已提供信息或无业务成果。
潜在客户质量评分 数值评分 根据客户的需求、契合度、紧迫性和意图,给出1到3的评分。 没有相关业务或商业背景的会话不会返回任何数据。

创建自定义指标

  1. 在您的代理的监控页面上,在汇总卡片上方选择自定义指标。

    监控页面自定义指标按钮的截图。

  2. 在 创建自定义指标时,请从提供的示例开始,或者从零开始创建一个指标。

    如需了解更多信息,请参见“从示例开始”。

  3. 描述你希望在智能体对话中衡量的内容。

    定义一个具体且可观察的结果。 例如,描述表明对话是否需要后续跟进的信号,而非输入“衡量成功”这类宽泛目标。

  4. 选择下一步。

    Copilot Studio 利用您的描述、智能体信息和示例会话来:

    • 验证该指标是否可以从现有会话数据中计算出来。
    • 生成一个度量标题。
    • 确定该指标是二元分类、多类别分类还是数值评分。
    • 针对分类指标生成类别及其条件。
    • 生成一个数值指标的评分标准。
    • 生成一个只读计算提示。
    • 选择一个兼容的可视化。

    如果该指标不被支持,Copilot Studio会解释原因并提供改进描述的指导。 您的原始描述仍然保留,可供您编辑。

  5. 预览并审查生成的指标。 在 预览自定义指标中了解更多。

  6. 选择“ 保存指标”。

    自定义指标显示在监视页面的自定义指标部分中。 Copilot Studio 计算前七天适用会话的指标。 初步计算后,Copilot Studio 每天计算新会话的指标。

预览自定义指标

预览版会使用您的智能体的会话示例,帮助您在保存指标前评估指标。 样本可以包含多天的会话,以便你回顾汇总结果和趋势。 预览结果并不代表所有会话的计算结果。

  1. 在 创建自定义指标时,选择 “下一步 ”以验证并生成指标。

  2. 在 预览中查看汇总结果和生成的可视化。

  3. 选择 结果 以审查代表性会话、分配给每个会话的结果以及该结果的AI生成推理。

  4. 选择会话以查看其消息。

    注释

    你需要具有 Bot Transcript Viewer 安全角色才能审查会话消息。

  5. 选择提示,查看 Copilot Studio 如何解读您的指标描述并计算其结果。

    生成的计算提示是只读的。

  6. 如果结果与你的意图不符,返回度量描述,细化并再次预览度量。

  7. 当预览版达到预期结果时,选择保存指标。

Important

AI生成的指标配置、分类、评分和推理可能不准确。 在保存指标前,请查看预览结果和推理。 将自定义指标视为对话数据的分析,而非在对话之外发生的结果的权威记录。

了解自定义指标的计算方式

预览和保存的指标对会话数据的使用方式不同:

计算 使用的会话数据
预览版 用于验证和测试该指标的历史会话样本。
初始已保存的计算 前七天所有适用的会议。
每日计算 所有适用的新会话可用于每日计算。

自定义指标评估会话中的对话消息,包括自适应卡片消息中发送的内容。 它们不评估工具调用的详细信息或存储在外部系统中的信息。

可视化取决于指标的类型。 分类指标显示会话在各类别中的分布情况。 数值指标显示适用会话的平均得分。 计算结果还显示使用的会话数量和指标的趋势。

编辑自定义指标

Important

保存变更会重新创建自定义指标,并删除其之前的计算历史。 Copilot Studio随后重新计算前七天适用会话的指标。

  1. 在你的客服 监控页面, 选择你想编辑的自定义指标上的三个点(...),然后选择 编辑。

  2. 更新度量描述。

  3. 选择 “下一步” 以重新生成并预览该指标。

  4. 查看生成的配置、结果、推理和计算提示。

  5. 选择“ 保存指标”。

编辑之前体验中创建的指标

当你编辑之前自定义度量体验中创建的指标时,Copilot Studio会将原始描述、类别名称和类别标准合并到指标描述字段中。 请审查合并描述,确保其保持指标的初衷。

保存编辑后的指标后,会使用新的自定义指标体验重新创建该指标,并删除之前的计算历史。

删除自定义指标

  1. 在你座席的 监控 页面,选择你想删除的自定义指标上的三个点(...),然后选择 删除。

  2. 在确认对话框中,选择“ 删除”。

限制

  • 你可以为一个代理创建最多三个自定义指标。
  • 自定义指标支持使用经典或生成式编排的对话代理。 不支持自主智能体和智能体流。
  • 自定义指标为每个适用会话生成一个结果。
  • 数值指标支持采用平均聚合方式进行评分。 它们不会提取和汇总交易金额或其他任意的数值。
  • 自定义指标使用对话消息,包括 Adaptive Card 消息内容。 工具调用细节和外部系统数据不包含在内。
  • 预览使用示例会话。 保存的计算会使用该计算期间所有可用的会话。
  • 当指标描述模糊或可用会话中没有计算所需信息时,可能无法产生有意义的结果。
  • 个别的分类、分数和推理可能不准确。 当预览结果与预期测量不符时,汇总结果并细化指标描述。
  • 如果您对代理的指令或配置做出实质性更改,请审查其自定义指标,确保它们仍然衡量预期结果。