AI 模型与 Agent 的测试评估入门：评测集、回归与采购验收

先看结论

给任何模型/Agent 上生产，先建「评测集」再谈功能：没有评测集的项目，等于 1.0 时代没有测试的代码——本文给三件套：建评测集、跑回归、验收标准。

三件套

1. 建评测集（20 条起）

选最常做的 3-5 类任务，每类 5-10 条真实用例（固定输入 + 期望输出 + 评分标准）——用例用真实场景，不用「标准考题」。

2. 跑回归（每次改动）

模型版本/提示策略/Agent 编排改动后，评测集全量跑一遍——记录「通过率 + 成本 + 速度」三项，变化即风险。

3. 验收标准（写进采购）

任务完成率、失败可归因、单位成本、延迟——把「分高」换成「任务完成 × 单位成本」作为验收口径。

加分项

• 轨迹留痕：Agent 步骤可回放（复盘与审计）
• 自动化评测：把通过率跑进 CI，防回归
• 人工抽评：自动化之外按比例人工复审

最终建议

从「20 条真实用例 + 记录三项指标」开始，两周就能形成团队自己的「模型验收基线」——先立评测，再谈扩展；评测集越贴近生产，选型越不踩坑。