来源：Hamel Husain 博客 ｜ 作者：Hamel Husain ｜ 时间：2026-09-30 ｜ 原文：Claude's new auto eval tool
Hamel 是做过 Airbnb、GitHub 早期 LLM 研究的老江湖，这篇聊了 Claude 新出的自动评测（auto eval）工具。他的核心判断是：评测不该是项目末尾的补丁，而该嵌进开发循环里，每次改动都自动跑一遍——这样模型一"退化"就能立刻被发现。
为什么值得读：做 AI 应用最怕"上周还好好的，这周突然变傻"，根因往往是没人持续测。这篇文章把"怎么低成本把评测做成习惯"讲得很实在，适合工程取向的读者。
适配人群：AI 应用开发者、做 prompt/agent 优化的工程师，以及技术负责人。如果你团队还没建评测集，这篇是最好的入门说服材料。
编辑补充：自动评测和我们收录的编程类智能体（Claude Code、Cursor）是天作之合——把 eval 接进 CI，让 AI 写的代码也有"考试"。想系统学评测，可顺着我站点的相关工具页去找对应的开源方案。
如果你还没建过评测集，从"二十条真实用户问题加标准答案"起步就够，先跑通再慢慢扩，别一上来就想造个完美体系。