把专家判断拆成54条评分表,Eval Agent与资深投资人一致率88.6%
OpenAI 官方案例里有个值得抄的做法:Terminal X 把「输出是否符合基金要求」这件事做成一个 Eval Agent,用一份 54 条评分标准的 rubric 给每条输出打分。换到 GPT-6.1 Sol 之后,它比之前多抓出 25% 偏离 mandate 的输出;同一套评估与资深投资人判断的一致率达到 88.6%。 两个数字的意义不一样。25% 说明 eval 在「发现偏差」这件事上确实有效,属于能力提升;88.6% 说明它可以作为初筛、替代大量重复人工,但还不足以直接替代最终决策——剩下的 11% 往往正是最难、最有争议的样本。 想在自己的业务里落地,可以照这个顺序:先把领域专家的判断拆成 30 到 60 条可判定的评分项,每条写清判据;再用历史案例回测,算和专家的一致率、以及偏差主要落在哪几类;然后把它放在「初筛加打标」的位置,人工只复核低置信和边界样本;最后定期用新样本重测,防一致率悄悄漂移。 一句话:eval 不是写几句提示词问模型「好不好」,而是把专家判断结构化成一整套可回测的评分表。
还没有跟帖,欢迎写下第一条。