设计评估提示

评估的质量取决于提示的质量。 精心设计的提示会准确测试你的意图 - 不多也不少。

本文介绍如何设计可产生清晰、可操作结果的评估提示。

有效评估提示剖析

有效的评估提示具有以下四个特征:

  • 单一意向
  • 逼真的措辞
  • 以数据为基础
  • 独立

单一意向

每个提示都应测试一个用户目标或问题。 多意向提示使确定失败原因变得困难。

多意向 (避免) 单一意向 (首选)
我的 PTO 余额是多少,你能给我订购一台笔记本电脑吗? 我的 PTO 余额是多少?
告诉我健康益处以及 401k 比赛。 有哪些健康保险计划可供选择?

要一起测试多个功能,请使用多轮对话评估,而不是将意图合并到单个提示中。

逼真的措辞

提示应反映用户的实际交流方式,包括非正式语言、不完整的句子和不同程度的细节。

过于正式 现实
请提供有关员工入职第一年的年度带薪休假分配的信息。 新员工有多少天的假期?
我想发起采购计算设备的请求。 我需要订购一台笔记本电脑。

可以从以下位置获得现实的提示:

  • 生产查询日志
  • 用户研究会议
  • 支持票证
  • 日常工作场所对话

以数据为基础

提示应以数据为基础。 当基础数据可用时,请使用特定的实体、值和标识符。 这种方法使评估变得可衡量和可验证。

接地提示允许精确断言,例如“响应包含 15 天”,而不是模糊的检查(例如“响应包含正确的数字”)。

无基础数据

提示:“针对工程师的 PTO 政策是什么?”

使用基础数据

基础数据:

  • 员工:Marcus Johnson
  • 部门:工程
  • 任期:8个月
  • 经理:Lisa Park
  • 地点:奥斯汀办公室

提示:“我在工程团队工作,我能放多少天假?”

独立 (单圈)

对于单轮评估,每个提示都必须包含所有必需的上下文。 代理不能依赖之前的对话轮次。 下表显示了独立提示的示例。

独立 取决于上下文 (避免)
PPO 健康计划涵盖哪些内容? 其他健康计划呢?
PPO 健康计划的员工成本是多少? 这要花多少钱?
可以订购 16 英寸 MacBook Pro 吗? 你能订购吗?

对于跨越多个轮次的方案,请使用 多轮对话。

提示变体

用户不会都以相同的方式提出相同的问题。 要测试泛化,请为每个提示创建三个变体。

规范提示

规范提示明确、完整、明确。 它们充当基线。

  • 包括所有必需参数。
  • 使用精确的术语。
  • 避免歧义。
  • 表示理想查询。

示例

“根据现行的 PTO 政策,任期少于两年的员工每年可获得多少带薪休假?”

自然语言变体

自然语言变体反映了日常对话的措辞。 自然语言变体:

  • 使用随意的对话语言。
  • 可能包括同义词或非正式术语。
  • 避免使用技术标识符。
  • 请完整回答。

示例

“嘿,作为新员工,我能得到多少假期?”

下表比较了规范提示和自然语言变体。

技术 Canonical 自然变体
同义词 “带薪休假” “假期”、“休假”、“PTO”
非正式措辞 “我收到多少天” “我能得到多少”
隐式上下文 “任职 2 年的 <员工” “作为新员工”
休闲外壳 正确大写 小写,最小标点符号

稳健性探头

稳健性探头评估代理处理不完美输入的能力。 稳健性探头:

  • 包含逼真的拼写错误。
  • 包含语法错误。
  • 使用速记或缩写。
  • 在噪音下测试意向识别。

示例: “我的 Vacaton Days 权利是什么”

下表显示了要测试的模式示例。

模式 示例
拼写错误 “vacaton”而不是“vacation”
缺少标点符号 “whats”而不是“what's”
缺失字词 “多少天得到”
缩写 “PTO bal?”
运行查询 “需要笔记本电脑 MacBook Pro 16 英寸”

完整的提示变体示例

以下示例演示单个方案的所有三种提示类型。

应用场景:设备订购

此方案包括以下基础数据:

  • 员工:Katrin Pold
  • 部门:产品设计
  • 开始日期:2024-01-15
  • 设备预算:3,500 美元
  • 批准的项目:MacBook Pro (14 英寸或 16 英寸) 、外接显示器、键盘、鼠标

提示变体

Canonical

“我是产品设计部门的一名新员工,从 2024 年 1 月 15 日开始。 我需要订购一台 16 英寸 MacBook Pro 笔记本电脑。 请通过 IT 订购系统提交此设备请求。

自然语言

“嗨,我刚刚加入产品设计团队,需要设置我的笔记本电脑。 我可以买 MacBook Pro 吗? 最好是 16 英寸的。

稳健性探头

“需要订购 MacBook Pro 16 英寸以从事产品设计的新工作”

断言 (适用于) 的所有变体:

  • 响应确认设备订单已启动。
  • 代理调用了 OrderEquipment 工具。
  • 该工具调用包括“MacBook Pro 16 英寸” (或同等) 。
  • 响应包括订单确认或参考号。

方案:个性化的策略问题

此方案包括以下基础数据:

  • 员工:James Wright
  • 地点:英国伦敦办事处
  • 任期:6个月
  • 雇佣类型:全职

提示变体

Canonical

“作为一名在英国伦敦办事处工作、任期为 6 个月的全职员工,我今年有权享受哪些公共假期?”

自然语言

“我在伦敦办公室工作——我什么银行假期下班?”

稳健性探头

“今年英国办公室假期放假?”

断言 (适用于) 的所有变体:

  • 该回复列出了英国银行假日 (而不是美国假日) 。
  • 回应至少包括:元旦、复活节、圣诞节。
  • 该答复引用了英国的政策或时间表。
  • 该回复没有提及美国节假日,例如 7 月 4 日或感恩节。

应避免的模式

避免以下提示模式。

多意向提示

避免多意向提示。 当提示涵盖多个意图时,无法确定哪个意图导致了失败。

  • 避免: 我的 PTO 余额是多少,您能告诉我健康保险选项吗,我可能也需要一台笔记本电脑?
  • 请改用: 拆分为单独的提示或使用多线程评估。

架构感知提示

避免架构感知提示。 架构感知提示效果不佳,因为用户不知道内部 API 或工具名称。

  • 避免: “调用 GetPTOBalance API 以获取员工 ID 12345”
  • 请改用: “我当前的假期余额是多少?”

含糊的提示

避免模糊的提示。 如果提示含糊不清,则无法定义可度量的断言。

  • 避免: “帮我处理人力资源问题”
  • 请改用:“如何实现加入牙科保险计划?”

主要提示

暗示预期答案的提示并不能测试代理的真实推理有效性。

  • 避免: “PTO 政策说 15 天,对吧?”
  • 请改用: “新员工收到多少个 PTO 天数?”

非独立 (单圈)

避免依赖于先前上下文的提示。

  • 避免: “其他选项呢?”
  • 请改用: “HMO 和 PPO 健康计划有什么区别?”

根据用户方案生成提示

从真实用户意图而不是功能列表开始。

  • 收集代表性用户问题。
  • 按方案 (分组,例如策略查找、操作、升级) 。
  • 为每个方案编写规范的提示。
  • 添加自然语言和稳定性变体。
  • 具体数据的基础提示。

这种方法确保评估反映实际使用情况。

AI 辅助提示扩展 (可选)

建立强大的基线后,使用 AI 扩大覆盖范围。 请求 AI 提供更多变体建议。 查看每条建议的真实性和相关性。 拒绝不自然、架构感知或超出范围的提示。 仅在可以提高覆盖率的地方添加提示。

提示覆盖范围清单

使用此清单确保提示覆盖范围完整。

功能覆盖范围

  • 每个工具或操作都至少有一个测试用例
  • 每个知识领域都有代表
  • 已测试升级行为
  • 测试范围外方案

变体覆盖范围

  • 规范提示
  • 自然语言变体
  • 稳健性探头

边缘事例

  • 极短的提示
  • 很长的提示
  • 不明确的请求
  • 缺少信息
  • 请求无效或不受支持

个性化 ((如果适用))

  • 不同的用户位置
  • 不同的任期级别
  • 不同的角色或部门

后续步骤