一次只改变有意义的因素
如果同时更换模型、输入材料和提示词,就很难判断改善来自哪里。先固定一组任务样本和运行条件,只比较两个提示版本。改动应有明确目的,例如减少遗漏条件或稳定输出字段。不要为了测试而随意增加长指令,新增内容也可能引入冲突和更多维护成本。
预先决定如何评分
在看结果之前写好评分项与权重。比如文章摘要可以检查核心事实、限制条件、长度和可读性;数据提取可以检查字段准确率与缺失处理。不能看到某版更擅长某一项后,临时改变标准让它获胜。高影响错误可以设为直接不通过,避免被其他优点抵消。
减少表达风格带来的偏好
把A与B的结果隐藏标签、打乱顺序后再评价,有助于减少对某个提示版本的先入判断。文字更长、标题更多或语气更肯定不应自动得到高分。评审时可以要求指出具体遗漏或错误位置,而不是只投票“更喜欢哪个”。多个评审者分歧较大时,应先讨论标准是否清楚。
可以把人工修订所需的改动数也记下来,例如遗漏两个限制条件、改错一个日期、需要重写一段。这个记录比笼统给四分更容易指导下一轮修改,也能避免把语气更讨喜但事实更差的版本误选为新基线。
给随机波动留出空间
单次结果可能受生成波动影响,不能凭一题得出稳定结论。对关键或容易波动的样本进行适当重复,并记录成功与失败分布。没有足够样本时,把结果表述为本轮观察,而不是宣称某提示全面更好。还要比较人工修订耗时,因为可直接使用的短答案可能比华丽长文更省工作。
保留回退版本与变更理由
选定新提示后,保存旧版、测试样本和采用理由。上线到实际工作流时,先观察少量真实任务,确认没有出现评测集遗漏的新问题。发现退步可以回退,而不是继续在新版本上叠加补丁。稳定的提示维护依赖记录与评测,不依赖记住某一次特别成功的对话。
资料来源
以下来源用于核对概念和操作条件。产品界面与政策可能变化,请结合当前官方说明使用。