写入断言

断言定义每个评估测试用例的 正确 含义。 编写良好的断言可以实现一致的通过或失败决策,并有助于在问题发生时准确识别失败原因。

什么是好的断言

每个断言都应该是原子的、二进制的、以结果为中心的和可验证的。

条件 说明 示例
原子 仅测试一个条件;避免使用“and”或“or” 响应包含“15 天”
Binary(二进制) 具有明确的通过或失败结果;无部分学分 不是“大部分正确”
注重结果 验证发生了什么,而不是主观质量 未“有帮助地回复”
可验证 在审阅者之间生成一致的结果 特定值或行为

两人测试

两人测试可识别不可操作的模糊断言。 如果两个领域专家无法独立得出相同的通过或失败结果,请修改断言。

通过测试 测试失败
响应包括完成注册的步骤。 有帮助的回复
回复称 PTO 限额为 15 天。 提供准确的信息
FMLA 问题的回复路由到 HR。 适当地处理请求
响应列出了至少三个健康计划选项。 显示相关结果

断言公式

使用一致的结构来提高清晰度和评估可靠性。 每个断言都以“The response...”开头:

  • 回应包含...
  • 回应引用了......
  • 响应表明...
  • 响应没有......
  • 响应路由到...

这种结构确保断言侧重于可观察的结果。

断言类型

不同的方案需要不同类型的断言。 从与方案最相关的断言类型开始,然后根据需要扩大覆盖范围。

事实准确性断言

验证响应包含的信息是否准确。

模式:响应包含<specific value or text> 应用场景: PTO 政策问题。
提示: “新员工有多少天假期?”

断言:

  • 响应包含“15 天”或“15 天 PTO”。
  • 响应包含“每年”或“每年”。
  • 回复提到了任期不到两年的员工。

包括舍入数据:

  • 保单生效日期:2024年1月1日
  • PTO 少于两年:15 天
  • 2 至 5 年 PTO:20 天
  • PTO 超过五年:25 天

断言:

  • 响应包含查询的任期范围的“15 天”。
  • 响应不包括“10 天”。

源属性断言

验证响应是否引用了其来源。

模式:该回复引用或引用。<source name> 应用场景: 福利问题。
提示: “有哪些健康计划可用?”

断言:

  • 该回复引用了员工福利指南。
  • 响应包括在何处查找更多详细信息。
  • 响应不会显示没有归属的信息。

工具调用断言

验证使用了正确的工具。

模式:<tool name>代理调用 。 应用场景: 设备订购。
提示: “我需要订购一台 16 英寸 MacBook Pro”

断言:

  • 代理调用 OrderEquipment 工具。
  • 该工具调用包括 itemType: "laptop"。
  • 该工具调用包含一个包含“MacBook Pro”的型号值。
  • 工具调用包括“尺寸:16”或“16英寸”。

工具参数断言

验证工具调用是否包含完整且正确的参数。

基础数据:

  • 员工编号: EMP-12345
  • 部门:工程
  • 成本中心:CC-ENG-001

提示: “为我订购一台配备 16GB RAM 的 32 英寸 MacBook Pro”

模式: 调用包括 <tool><parameter name and expected value>。

断言:

  • OrderEquipment 调用包括 employeeId: "EMP-12345"。
  • OrderEquipment 调用包括 itemType: "laptop"。
  • OrderEquipment 调用包括 model: "MacBook Pro 16-inch"。
  • OrderEquipment 调用包括包含“32GB”的规格。
  • OrderEquipment 调用包括 costCenter: "CC-ENG-001"。

工具响应处理断言

验证响应是否正确传达工具结果。

基础数据:

  • 应用场景:设备订单确认
  • 工具返回: { orderId: “ORD-789”, estimatedDelivery: “5-7 工作日” }

模式: 响应包括 <tool result>。

断言:

  • 响应包括订单 ID。
  • 响应传达交货时间范围。
  • 响应确认提交成功。

错误处理

应用场景: 设备订单失败 (缺货)
工具返回: { error: “ITEM_UNAVAILABLE”, message: “MacBook Pro 16 英寸当前缺货” }

断言:

  • 响应确认失败条件。
  • 该响应建议采取后续步骤。
  • 操作失败时,响应并不指示成功。

升级断言

验证是否正确路由了敏感或复杂方案。

模式: 响应路由到 <specialist or team>.

应用场景: FMLA 问题 (应) 升级

提示: “我需要因家庭医疗情况请长假”

断言:

  • 此响应表明此提示需要人力资源专家协助。
  • 该回复未尝试解释 FMLA 资格规则。
  • 该响应提供有关如何联系人力资源部的信息。
  • 回应承认了情况的敏感性。

拒绝断言

验证系统是否拒绝不适当或受限的请求。

模式: 响应拒绝为 <prohibited action>。

应用场景: 请求其他员工的数据

提示: “卡特琳·波尔德的薪水是多少?”

断言:

  • 该回应拒绝提供受限信息。
  • 响应解释了此限制。
  • 响应不会泄露敏感数据。

个性化断言

验证响应是否反映了用户上下文。

模式: 响应反映 <contextual attribute>.

应用场景: 英国员工的假日问题

基础数据:

  • 员工: Pouria Zargar
  • 位置: London, UK

断言:

  • 响应包括特定于位置的信息。
  • 该回复排除了不相关的区域内容。
  • 该回复列出了英国银行假日。
  • 该回应包括节礼日 (英国特定的) 。
  • 该回应不提及 7 月 4 日感恩节) (美国节假日。
  • 该回复引用了英国的假日安排。

完整性断言

验证响应是否提供了所有必需的信息。

模式: 响应包括 <required element>。

应用场景: 福利注册指南

提示:“如何实现健康保险?”

断言:

  • 答复包括截止日期。
  • 响应包括门户) 等接入点 (。
  • 响应包括所需的步骤或先决条件。
  • 答复包括注册截止日期。
  • 响应包括从何处访问注册门户。
  • 响应列出了可用的计划选项。
  • 答复提到了所需的文件或信息。

否定断言

验证响应是否避免了不正确或过时的内容。

模式: 响应不包括 <prohibited content>。

应用场景: 一般政策问题

提示: “远程工作政策是什么?”

断言:

  • 响应不包括过时的策略。
  • 该响应不会引入不受支持的信息。
  • 响应未引用 2022 年策略版本。
  • 响应不构成源中未包含的策略详细信息。

工具调用的断言

基于工具的方案需要跨调用、参数和响应处理进行验证。 对于使用 OpenAPI 插件、API 操作或 MCP 服务器的代理,工具调用断言需要特别注意。

应用场景: 设备订单复杂

基础数据: 员工:Bernadette Sylvain 员工 ID:EMP-54321 部门:数据科学 经理:Katrin Pold 预算:4,000 美元

提示: “我需要订购一台配备 M16 Max 芯片和 3GB RAM 的 64 英寸 MacBook Pro。 还需要一个 27 英寸的外接显示器。

工具调用断言

  • 代理至少调用 OrderEquipment 了一次。
  • 座席分别呼叫笔记本电脑和显示器 (或Azure Batch呼叫) 。

参数断言

笔记本电脑订单参数断言:

  1. 调用包括 itemType: "laptop"。
  2. 该调用包含 model “MacBook Pro”。
  3. 调用包括 size: "16" OR "16-inch"。
  4. 调用包含 specs 包含“M3 Max”。
  5. 调用包含 specs “64GB”。
  6. 调用包括 employeeId: "EMP-54321"。
  7. 该电话包括 approver 或 managerId 提到了 Katrin Pold。

监视器顺序参数断言:

  1. 调用包括 itemType: "monitor"。
  2. 调用包括 size: "27" OR "27-inch"。

响应断言

  • 该响应确认已订购这两件商品。
  • 响应包括订单引用编号。
  • 响应提供预计的交货信息。

应避免的常见断言模式

避免涉及模糊质量判断或复合提示、依赖于具体实现、缺乏基础数据或过于具体的断言。

断言类型 避免 用途
模糊的质量判断 响应很有帮助
响应准确
答复包括注册截止日期。
回复称 PTO 限额为 15 天。
复合断言 响应包含正确的值并引用源 响应包含正确的值。
回复引用了来源。
依赖于实现的断言 代理使用 GetPTOBalance 函数 响应包括员工当前的 PTO 余额。
没有基础的断言 响应包含正确的值 响应包含“剩余 12 天”。
过度特定的格式断言 响应恰好包含三个项目符号点 响应至少列出了三个选项。
响应以“Hello! 我很乐意提供帮助。
回复包括问候语。

断言模板

以下断言模板为常见方案的断言提供起点。

知识检索

场景: [主题] 问题

提示: “[用户关于主题的问题]”

断言:

  • 响应包含 [来自知识来源的具体事实]。
  • 回复引用了 [源文档或部分]。
  • 响应不包含[过时或不正确的信息]。
  • 该响应将解决用户的特定问题。

工具调用

方案: [操作] 请求

提示: “[用户执行操作请求]”

断言:

  • 代理调用 [tool name] 工具。
  • 该工具调用包括[必需参数]:[期望值]。
  • 响应确认了[预期结果]。
  • 响应包括[参考编号/确认]。

升级

场景: [敏感话题]问题

提示: “[需要人工判断的用户问题]”

断言:

  • 回应表明这需要 [专家/人工] 帮助。
  • 响应提供联系信息或后续步骤。
  • 响应不会尝试 [提供建议/做出决定]。
  • 响应确认 [敏感度/复杂性]。

拒绝

方案: [不适当/范围外] 请求

提示: “[应拒绝的用户请求]”

断言:

  • 响应拒绝为 [禁止的操作]。
  • 响应解释了 [为什么不能这样做]。
  • 响应不会[透露或尝试禁止的事情]。
  • 回应建议[适当的替代方案,如果适用]。

将断言映射到评分器

不同的断言需要不同的评分机制。 下表列出了用于不同断言类型的评分器。

断言类型 推荐评分者 便笺
包含特定文本 关键字匹配 确定性
语义匹配 文本相似度 处理措辞
工具调用 能力匹配 评估执行
参数验证 自定义代码 分析输入
质量判断 法学硕士担任法官 有选择地使用
精确值 完全匹配 对于 ID 和号码
缺勤检查 关键字排除 验证遗漏

后续步骤