评估的质量取决于提示的质量。 精心设计的提示会准确测试你的意图 - 不多也不少。
本文介绍如何设计可产生清晰、可操作结果的评估提示。
有效评估提示剖析
有效的评估提示具有以下四个特征:
- 单一意向
- 逼真的措辞
- 以数据为基础
- 独立
单一意向
每个提示都应测试一个用户目标或问题。 多意向提示使确定失败原因变得困难。
| 多意向 (避免) | 单一意向 (首选) |
|---|---|
| 我的 PTO 余额是多少,你能给我订购一台笔记本电脑吗? | 我的 PTO 余额是多少? |
| 告诉我健康益处以及 401k 比赛。 | 有哪些健康保险计划可供选择? |
要一起测试多个功能,请使用多轮对话评估,而不是将意图合并到单个提示中。
逼真的措辞
提示应反映用户的实际交流方式,包括非正式语言、不完整的句子和不同程度的细节。
| 过于正式 | 现实 |
|---|---|
| 请提供有关员工入职第一年的年度带薪休假分配的信息。 | 新员工有多少天的假期? |
| 我想发起采购计算设备的请求。 | 我需要订购一台笔记本电脑。 |
可以从以下位置获得现实的提示:
- 生产查询日志
- 用户研究会议
- 支持票证
- 日常工作场所对话
以数据为基础
提示应以数据为基础。 当基础数据可用时,请使用特定的实体、值和标识符。 这种方法使评估变得可衡量和可验证。
接地提示允许精确断言,例如“响应包含 15 天”,而不是模糊的检查(例如“响应包含正确的数字”)。
无基础数据
提示:“针对工程师的 PTO 政策是什么?”
使用基础数据
基础数据:
- 员工:Marcus Johnson
- 部门:工程
- 任期:8个月
- 经理:Lisa Park
- 地点:奥斯汀办公室
提示:“我在工程团队工作,我能放多少天假?”
独立 (单圈)
对于单轮评估,每个提示都必须包含所有必需的上下文。 代理不能依赖之前的对话轮次。 下表显示了独立提示的示例。
| 独立 | 取决于上下文 (避免) |
|---|---|
| PPO 健康计划涵盖哪些内容? | 其他健康计划呢? |
| PPO 健康计划的员工成本是多少? | 这要花多少钱? |
| 可以订购 16 英寸 MacBook Pro 吗? | 你能订购吗? |
对于跨越多个轮次的方案,请使用 多轮对话。
提示变体
用户不会都以相同的方式提出相同的问题。 要测试泛化,请为每个提示创建三个变体。
规范提示
规范提示明确、完整、明确。 它们充当基线。
- 包括所有必需参数。
- 使用精确的术语。
- 避免歧义。
- 表示理想查询。
示例
“根据现行的 PTO 政策,任期少于两年的员工每年可获得多少带薪休假?”
自然语言变体
自然语言变体反映了日常对话的措辞。 自然语言变体:
- 使用随意的对话语言。
- 可能包括同义词或非正式术语。
- 避免使用技术标识符。
- 请完整回答。
示例
“嘿,作为新员工,我能得到多少假期?”
下表比较了规范提示和自然语言变体。
| 技术 | Canonical | 自然变体 |
|---|---|---|
| 同义词 | “带薪休假” | “假期”、“休假”、“PTO” |
| 非正式措辞 | “我收到多少天” | “我能得到多少” |
| 隐式上下文 | “任职 2 年的 <员工” | “作为新员工” |
| 休闲外壳 | 正确大写 | 小写,最小标点符号 |
稳健性探头
稳健性探头评估代理处理不完美输入的能力。 稳健性探头:
- 包含逼真的拼写错误。
- 包含语法错误。
- 使用速记或缩写。
- 在噪音下测试意向识别。
示例: “我的 Vacaton Days 权利是什么”
下表显示了要测试的模式示例。
| 模式 | 示例 |
|---|---|
| 拼写错误 | “vacaton”而不是“vacation” |
| 缺少标点符号 | “whats”而不是“what's” |
| 缺失字词 | “多少天得到” |
| 缩写 | “PTO bal?” |
| 运行查询 | “需要笔记本电脑 MacBook Pro 16 英寸” |
完整的提示变体示例
以下示例演示单个方案的所有三种提示类型。
应用场景:设备订购
此方案包括以下基础数据:
- 员工:Katrin Pold
- 部门:产品设计
- 开始日期:2024-01-15
- 设备预算:3,500 美元
- 批准的项目:MacBook Pro (14 英寸或 16 英寸) 、外接显示器、键盘、鼠标
提示变体
Canonical
“我是产品设计部门的一名新员工,从 2024 年 1 月 15 日开始。 我需要订购一台 16 英寸 MacBook Pro 笔记本电脑。 请通过 IT 订购系统提交此设备请求。
自然语言
“嗨,我刚刚加入产品设计团队,需要设置我的笔记本电脑。 我可以买 MacBook Pro 吗? 最好是 16 英寸的。
稳健性探头
“需要订购 MacBook Pro 16 英寸以从事产品设计的新工作”
断言 (适用于) 的所有变体:
- 响应确认设备订单已启动。
- 代理调用了 OrderEquipment 工具。
- 该工具调用包括“MacBook Pro 16 英寸” (或同等) 。
- 响应包括订单确认或参考号。
方案:个性化的策略问题
此方案包括以下基础数据:
- 员工:James Wright
- 地点:英国伦敦办事处
- 任期:6个月
- 雇佣类型:全职
提示变体
Canonical
“作为一名在英国伦敦办事处工作、任期为 6 个月的全职员工,我今年有权享受哪些公共假期?”
自然语言
“我在伦敦办公室工作——我什么银行假期下班?”
稳健性探头
“今年英国办公室假期放假?”
断言 (适用于) 的所有变体:
- 该回复列出了英国银行假日 (而不是美国假日) 。
- 回应至少包括:元旦、复活节、圣诞节。
- 该答复引用了英国的政策或时间表。
- 该回复没有提及美国节假日,例如 7 月 4 日或感恩节。
应避免的模式
避免以下提示模式。
多意向提示
避免多意向提示。 当提示涵盖多个意图时,无法确定哪个意图导致了失败。
- 避免: 我的 PTO 余额是多少,您能告诉我健康保险选项吗,我可能也需要一台笔记本电脑?
- 请改用: 拆分为单独的提示或使用多线程评估。
架构感知提示
避免架构感知提示。 架构感知提示效果不佳,因为用户不知道内部 API 或工具名称。
- 避免: “调用 GetPTOBalance API 以获取员工 ID 12345”
- 请改用: “我当前的假期余额是多少?”
含糊的提示
避免模糊的提示。 如果提示含糊不清,则无法定义可度量的断言。
- 避免: “帮我处理人力资源问题”
- 请改用:“如何实现加入牙科保险计划?”
主要提示
暗示预期答案的提示并不能测试代理的真实推理有效性。
- 避免: “PTO 政策说 15 天,对吧?”
- 请改用: “新员工收到多少个 PTO 天数?”
非独立 (单圈)
避免依赖于先前上下文的提示。
- 避免: “其他选项呢?”
- 请改用: “HMO 和 PPO 健康计划有什么区别?”
根据用户方案生成提示
从真实用户意图而不是功能列表开始。
- 收集代表性用户问题。
- 按方案 (分组,例如策略查找、操作、升级) 。
- 为每个方案编写规范的提示。
- 添加自然语言和稳定性变体。
- 具体数据的基础提示。
这种方法确保评估反映实际使用情况。
AI 辅助提示扩展 (可选)
建立强大的基线后,使用 AI 扩大覆盖范围。 请求 AI 提供更多变体建议。 查看每条建议的真实性和相关性。 拒绝不自然、架构感知或超出范围的提示。 仅在可以提高覆盖率的地方添加提示。
提示覆盖范围清单
使用此清单确保提示覆盖范围完整。
功能覆盖范围
- 每个工具或操作都至少有一个测试用例
- 每个知识领域都有代表
- 已测试升级行为
- 测试范围外方案
变体覆盖范围
- 规范提示
- 自然语言变体
- 稳健性探头
边缘事例
- 极短的提示
- 很长的提示
- 不明确的请求
- 缺少信息
- 请求无效或不受支持
个性化 ((如果适用))
- 不同的用户位置
- 不同的任期级别
- 不同的角色或部门