质量信号提供了一种结构化的方法来理解代理响应成功或失败 的原因 。 它们帮助团队将评估结果分组为有意义的类别,确定改进的优先级,并随着时间的推移跟踪进度。
本文介绍如何从评估结果中派生质量信号,以诊断问题、识别模式和提高 Copilot 代理性能。
通过使用质量信号,团队可以:
- 识别重复出现的故障模式
- 根据影响确定改进的优先级
- 跟踪跨迭代的绩效
- 清楚地向利益干系人传达结果
什么是质量信号?
质量信号是表示评估结果模式的类别。 它们来自观察到的行为,而不是预定义的规则。
断言和质量信号在评估工作流中协同工作:
- 断言确定 响应是通过还是失败。
- 质量信号将 断言结果分组为更高级别的模式。
| 方面 | 断言 | 质量信号 |
|---|---|---|
| 级别 | 具体和具体 | 抽象和分类 |
| 用途 | 确定通过或失败 | 诊断模式 |
| 数量 | 每个测试用例多个 | 每个代理很少 |
| 源 | 测试前定义 | 派生自结果 |
| 示例 | 包含“15 天” | 策略准确性 |
定义断言后,从断言结果中派生质量信号,并使用这些信号跨场景跟踪性能。
常见质量信号
评估 Copilot 代理时,请使用以下常见质量信号:
- 策略准确性 – 衡量响应是否与权威知识来源一致
- 来源归属 – 衡量回复是否清楚地标识信息来源
- 个性化 - 衡量响应是否使用相关的用户上下文
- 刀具精度 – 衡量是否正确执行刀具调用
- 工具响应处理 – 测量代理是否正确解释工具输出
- 上报的适当性 – 衡量是否在需要时将请求路由到人工支持
- 隐私保护 – 衡量敏感信息是否受到保护
- 操作启用 – 衡量响应是否提供了明确的后续步骤
信号评估及常见原因
下表列出了每个质量信号的指标。
| 质量信号 | 通过指示器 | 失败指示器 | 常见原因 |
|---|---|---|---|
| 策略准确性 | 正确的值和日期 准确的策略详细信息 与当前文档一致 |
过时或不正确的值 冲突或捏造的细节 |
过期或重复的文档 检索结果不正确 模型幻觉 |
| 来源归属 | 对特定文档或部分的引用 清除归属声明 |
未提供来源 模糊或笼统的引用 |
缺少源元数据 说明不强调归因 |
| 个性化设置 | 特定于区域或特定于角色的响应 上下文感知建议 |
忽略用户上下文的通用响应 不正确的区域或基于角色的信息 |
代理的用户上下文不可用 未按受众细分的知识源 |
| 刀具精度 | 正确的工具选择 有效参数和标识符 已填充所有必填字段 |
参数缺失或不正确 无效的工具输入 |
不明确的 API 规范 参数映射不正确 |
| 工具响应处理 | 准确传达工具结果 正确处理成功和错误状态 |
成功声明不正确 忽略或误解的工具错误 |
缺少错误处理指南 对工具响应的误解 |
| 呈报的适当性 | 正确路由敏感或复杂问题 遵守呈报规则 |
代理尝试处理不受支持的方案 无法提升高风险请求 |
未定义的升级标准 过度宽松的指令 |
| 隐私保护 | 拒绝披露受限数据 响应仅限于授权信息 |
敏感数据的披露或推断 公开受保护信息的响应 |
弱访问控制 隐私指导不足 |
| 操作启用 | 具体说明 链接、标识符或联系人详细信息 |
指南含糊不清或不完整 缺少可操作的步骤 |
知识源中缺少过程性信息 过度汇总的响应 |
如何派生质量信号
质量信号来自评估结果中的模式,而不是预定义的清单。 要派生质量信号:
- 运行一组初始评估测试用例。
- 查看跨测试用例失败的响应。
- 识别故障中重复出现的模式。
- 将每个模式定义为质量信号。
- 使用相应的信号标记相关断言。
- 按信号跟踪通过率。
质量信号的实践
以下示例显示了为员工入职代理定义的质量信号。
| 观察 | 已识别的模式 | 质量信号 |
|---|---|---|
| 返回了正确的 PTO 值 | 准确的知识检索 | 策略准确性 |
| 回应中引用的来源 | 包含归因 | 来源归属 |
| 返回的区域信息不正确 | 未使用上下文 | 个性化设置 |
| 调用的工具参数不正确 | 执行错误 | 刀具精度 |
| 请求已适当地路由到人力资源部 | 正确呈报 | 呈报的适当性 |
| 敏感数据几乎暴露 | 隐私边界风险 | 隐私保护 |
| 响应包括后续步骤 | 可操作的响应 | 操作启用 |
以下是质量信号的具体措施。
| 策略准确性 | 来源归属 | 刀具精度 |
|---|---|---|
| 包含正确的 PTO 持续时间 | 引用权威文档 | 调用正确工具 |
| 包括正确的注册截止时间 | 参考特定章节 | 使用有效参数 |
| 不引用过时的策略 | 返回正确的结果 |
应用和传达质量信号
使用质量信号来推动评估工作流程并传达见解。 应用质量信号:
标签断言 — 向测试用例中的每个断言添加信号标签。
测试用例: PTO-001
提示: “新员工有多少天假期?”断言:
响应包含“15 天”。
信号:策略准确性该回应引用了《员工手册》。
信号:来源归因答复提到 <了 2 年任期范围。
信号:个性化
计算指标 – 按信号汇总通过和失败结果。
质量信号 测试案例 通行证 失败 通过率 策略准确性 25 23 2 92% 来源归属 25 20 5 80% 个性化设置 15 11 4 73% 刀具精度 1.2 10 2 83% 呈报的适当性 8 8 0 100% 隐私保护 10 10 0 100% 确定问题的优先级 – 重点关注通过率低或影响大的信号。
- 个性化 (73%) - 差距最大,请先调查。
- 来源归因 (80%) - 第二优先。
- 刀具精度 (83%) - 第三优先。
- 策略准确性 (92%) - 次要问题,监视。
跟踪进度 – 监控跨代理版本的信号通过率。
- 版本 1.0 > 、1.1、1.2 >> 、1.3
- 个性化:73% > 78% > 85% > 91% (改进)
- 来源归因:80% > 82% > 88% 90% > (改进)
- 工具准确性:v1.2 回归) 后,工具准确性:83% > 85% > 84% > 92% (提高
质量信号改变利益干系人的对话。 这种特异性可以实现有针对性的修复、定量进度跟踪和更清晰的利益相关者沟通。
无信号: 代理性能不佳。 用户们都在抱怨。
使用信号: 策略准确率为 92%——我们正在达到目标。 但在上次更新后,个性化下降到 73%。 具体来说,英国员工正在获得美国假期信息。 我们确定了根本原因:上下文检索未传递位置数据。 下一版本正在修复。
按代理类型列出的质量信号
质量信号和优先级因您正在评估的代理类型而异。
| 代理类型 | 信号 | 优先级 |
|---|---|---|
| 以知识为基础 | 策略准确性 | 最高价 |
| 来源归属 | 最高价 | |
| 完整性 | 中 | |
| 个性化设置 | 中 | |
| 工具调用 | 刀具精度 | 最高价 |
| 工具响应处理 | 最高价 | |
| 操作启用 | 最高价 | |
| 错误恢复 | 中 | |
| 混合 | 路由精度 | 最高价 |
| 知识信号 | 中 | |
| 工具信号 | 中 | |
| 呈报的适当性 | 中 | |
| 面向客户 | 隐私保护 | 最高价 |
| 语气和专业性 | 最高价 | |
| 呈报的适当性 | 最高价 | |
| 分辨率完整性 | 中 |
避免常见错误
避免以下问题,以确保您的质量信号保持有用、一致和可操作。
使用特定信号而非一般类别
过于宽泛的信号(例如“准确性”、“有用性”或“相关性”)无法提供可操作的见解。 一般信号使得确定根本原因或确定改进的优先级变得困难。
相反,根据评估结果中特定的、可观察的模式来定义信号。
- 避免:准确性
- 首选:策略准确性、来源归属
避免使用过于精细的信号
创建过多范围狭窄的信号会增加复杂性,但不会提高洞察力。 过于细化会分散分析,使跟踪有意义的趋势变得更加困难。
相反,将相关行为分为更广泛的、可重用的信号类别。
- 避免:PTO 准确性、福利准确性、假日准确性
- 首选:策略准确性
避免模糊的通过和失败标准
模糊的信号定义,例如“正确性”,缺乏可衡量的标准。 没有明确的标准,结果不一致且难以解释。
相反,使用与评估结果相关的明确、可观察的行为来定义信号。
- 避免:“响应正确”
- 首选:“响应包含正确的值并引用权威来源”