断言定义每个评估测试用例的 正确 含义。 编写良好的断言可以实现一致的通过或失败决策,并有助于在问题发生时准确识别失败原因。
什么是好的断言
每个断言都应该是原子的、二进制的、以结果为中心的和可验证的。
| 条件 | 说明 | 示例 |
|---|---|---|
| 原子 | 仅测试一个条件;避免使用“and”或“or” | 响应包含“15 天” |
| Binary(二进制) | 具有明确的通过或失败结果;无部分学分 | 不是“大部分正确” |
| 注重结果 | 验证发生了什么,而不是主观质量 | 未“有帮助地回复” |
| 可验证 | 在审阅者之间生成一致的结果 | 特定值或行为 |
两人测试
两人测试可识别不可操作的模糊断言。 如果两个领域专家无法独立得出相同的通过或失败结果,请修改断言。
| 通过测试 | 测试失败 |
|---|---|
| 响应包括完成注册的步骤。 | 有帮助的回复 |
| 回复称 PTO 限额为 15 天。 | 提供准确的信息 |
| FMLA 问题的回复路由到 HR。 | 适当地处理请求 |
| 响应列出了至少三个健康计划选项。 | 显示相关结果 |
断言公式
使用一致的结构来提高清晰度和评估可靠性。 每个断言都以“The response...”开头:
- 回应包含...
- 回应引用了......
- 响应表明...
- 响应没有......
- 响应路由到...
这种结构确保断言侧重于可观察的结果。
断言类型
不同的方案需要不同类型的断言。 从与方案最相关的断言类型开始,然后根据需要扩大覆盖范围。
事实准确性断言
验证响应包含的信息是否准确。
模式:响应包含<specific value or text>
应用场景: PTO 政策问题。
提示: “新员工有多少天假期?”
断言:
- 响应包含“15 天”或“15 天 PTO”。
- 响应包含“每年”或“每年”。
- 回复提到了任期不到两年的员工。
包括舍入数据:
- 保单生效日期:2024年1月1日
- PTO 少于两年:15 天
- 2 至 5 年 PTO:20 天
- PTO 超过五年:25 天
断言:
- 响应包含查询的任期范围的“15 天”。
- 响应不包括“10 天”。
源属性断言
验证响应是否引用了其来源。
模式:该回复引用或引用。<source name>
应用场景: 福利问题。
提示: “有哪些健康计划可用?”
断言:
- 该回复引用了员工福利指南。
- 响应包括在何处查找更多详细信息。
- 响应不会显示没有归属的信息。
工具调用断言
验证使用了正确的工具。
模式:<tool name>代理调用 。
应用场景: 设备订购。
提示: “我需要订购一台 16 英寸 MacBook Pro”
断言:
- 代理调用 OrderEquipment 工具。
- 该工具调用包括
itemType: "laptop"。 - 该工具调用包含一个包含“MacBook Pro”的型号值。
- 工具调用包括“尺寸:16”或“16英寸”。
工具参数断言
验证工具调用是否包含完整且正确的参数。
基础数据:
- 员工编号: EMP-12345
- 部门:工程
- 成本中心:CC-ENG-001
提示: “为我订购一台配备 16GB RAM 的 32 英寸 MacBook Pro”
模式: 调用包括 <tool><parameter name and expected value>。
断言:
- OrderEquipment 调用包括
employeeId: "EMP-12345"。 - OrderEquipment 调用包括
itemType: "laptop"。 - OrderEquipment 调用包括
model: "MacBook Pro 16-inch"。 - OrderEquipment 调用包括包含“32GB”的规格。
- OrderEquipment 调用包括
costCenter: "CC-ENG-001"。
工具响应处理断言
验证响应是否正确传达工具结果。
基础数据:
- 应用场景:设备订单确认
- 工具返回: { orderId: “ORD-789”, estimatedDelivery: “5-7 工作日” }
模式: 响应包括 <tool result>。
断言:
- 响应包括订单 ID。
- 响应传达交货时间范围。
- 响应确认提交成功。
错误处理
应用场景: 设备订单失败 (缺货)
工具返回: { error: “ITEM_UNAVAILABLE”, message: “MacBook Pro 16 英寸当前缺货” }
断言:
- 响应确认失败条件。
- 该响应建议采取后续步骤。
- 操作失败时,响应并不指示成功。
升级断言
验证是否正确路由了敏感或复杂方案。
模式: 响应路由到 <specialist or team>.
应用场景: FMLA 问题 (应) 升级
提示: “我需要因家庭医疗情况请长假”
断言:
- 此响应表明此提示需要人力资源专家协助。
- 该回复未尝试解释 FMLA 资格规则。
- 该响应提供有关如何联系人力资源部的信息。
- 回应承认了情况的敏感性。
拒绝断言
验证系统是否拒绝不适当或受限的请求。
模式: 响应拒绝为 <prohibited action>。
应用场景: 请求其他员工的数据
提示: “卡特琳·波尔德的薪水是多少?”
断言:
- 该回应拒绝提供受限信息。
- 响应解释了此限制。
- 响应不会泄露敏感数据。
个性化断言
验证响应是否反映了用户上下文。
模式: 响应反映 <contextual attribute>.
应用场景: 英国员工的假日问题
基础数据:
- 员工: Pouria Zargar
- 位置: London, UK
断言:
- 响应包括特定于位置的信息。
- 该回复排除了不相关的区域内容。
- 该回复列出了英国银行假日。
- 该回应包括节礼日 (英国特定的) 。
- 该回应不提及 7 月 4 日感恩节) (美国节假日。
- 该回复引用了英国的假日安排。
完整性断言
验证响应是否提供了所有必需的信息。
模式: 响应包括 <required element>。
应用场景: 福利注册指南
提示:“如何实现健康保险?”
断言:
- 答复包括截止日期。
- 响应包括门户) 等接入点 (。
- 响应包括所需的步骤或先决条件。
- 答复包括注册截止日期。
- 响应包括从何处访问注册门户。
- 响应列出了可用的计划选项。
- 答复提到了所需的文件或信息。
否定断言
验证响应是否避免了不正确或过时的内容。
模式: 响应不包括 <prohibited content>。
应用场景: 一般政策问题
提示: “远程工作政策是什么?”
断言:
- 响应不包括过时的策略。
- 该响应不会引入不受支持的信息。
- 响应未引用 2022 年策略版本。
- 响应不构成源中未包含的策略详细信息。
工具调用的断言
基于工具的方案需要跨调用、参数和响应处理进行验证。 对于使用 OpenAPI 插件、API 操作或 MCP 服务器的代理,工具调用断言需要特别注意。
应用场景: 设备订单复杂
基础数据: 员工:Bernadette Sylvain 员工 ID:EMP-54321 部门:数据科学 经理:Katrin Pold 预算:4,000 美元
提示: “我需要订购一台配备 M16 Max 芯片和 3GB RAM 的 64 英寸 MacBook Pro。 还需要一个 27 英寸的外接显示器。
工具调用断言
- 代理至少调用
OrderEquipment了一次。 - 座席分别呼叫笔记本电脑和显示器 (或Azure Batch呼叫) 。
参数断言
笔记本电脑订单参数断言:
- 调用包括
itemType: "laptop"。 - 该调用包含
model“MacBook Pro”。 - 调用包括
size: "16"OR"16-inch"。 - 调用包含
specs包含“M3 Max”。 - 调用包含
specs“64GB”。 - 调用包括
employeeId: "EMP-54321"。 - 该电话包括
approver或managerId提到了 Katrin Pold。
监视器顺序参数断言:
- 调用包括
itemType: "monitor"。 - 调用包括
size: "27"OR"27-inch"。
响应断言
- 该响应确认已订购这两件商品。
- 响应包括订单引用编号。
- 响应提供预计的交货信息。
应避免的常见断言模式
避免涉及模糊质量判断或复合提示、依赖于具体实现、缺乏基础数据或过于具体的断言。
| 断言类型 | 避免 | 用途 |
|---|---|---|
| 模糊的质量判断 | 响应很有帮助 响应准确 |
答复包括注册截止日期。 回复称 PTO 限额为 15 天。 |
| 复合断言 | 响应包含正确的值并引用源 | 响应包含正确的值。 回复引用了来源。 |
| 依赖于实现的断言 | 代理使用 GetPTOBalance 函数 | 响应包括员工当前的 PTO 余额。 |
| 没有基础的断言 | 响应包含正确的值 | 响应包含“剩余 12 天”。 |
| 过度特定的格式断言 | 响应恰好包含三个项目符号点 | 响应至少列出了三个选项。 响应以“Hello! 我很乐意提供帮助。 回复包括问候语。 |
断言模板
以下断言模板为常见方案的断言提供起点。
知识检索
场景: [主题] 问题
提示: “[用户关于主题的问题]”
断言:
- 响应包含 [来自知识来源的具体事实]。
- 回复引用了 [源文档或部分]。
- 响应不包含[过时或不正确的信息]。
- 该响应将解决用户的特定问题。
工具调用
方案: [操作] 请求
提示: “[用户执行操作请求]”
断言:
- 代理调用 [tool name] 工具。
- 该工具调用包括[必需参数]:[期望值]。
- 响应确认了[预期结果]。
- 响应包括[参考编号/确认]。
升级
场景: [敏感话题]问题
提示: “[需要人工判断的用户问题]”
断言:
- 回应表明这需要 [专家/人工] 帮助。
- 响应提供联系信息或后续步骤。
- 响应不会尝试 [提供建议/做出决定]。
- 响应确认 [敏感度/复杂性]。
拒绝
方案: [不适当/范围外] 请求
提示: “[应拒绝的用户请求]”
断言:
- 响应拒绝为 [禁止的操作]。
- 响应解释了 [为什么不能这样做]。
- 响应不会[透露或尝试禁止的事情]。
- 回应建议[适当的替代方案,如果适用]。
将断言映射到评分器
不同的断言需要不同的评分机制。 下表列出了用于不同断言类型的评分器。
| 断言类型 | 推荐评分者 | 便笺 |
|---|---|---|
| 包含特定文本 | 关键字匹配 | 确定性 |
| 语义匹配 | 文本相似度 | 处理措辞 |
| 工具调用 | 能力匹配 | 评估执行 |
| 参数验证 | 自定义代码 | 分析输入 |
| 质量判断 | 法学硕士担任法官 | 有选择地使用 |
| 精确值 | 完全匹配 | 对于 ID 和号码 |
| 缺勤检查 | 关键字排除 | 验证遗漏 |