Reliability & Evaluation
幻觉、不确定性与评测
从“它会不会答”转向“怎样知道它答得够不够好”。
The Question
排行榜第一，为什么可能仍不适合你的任务？
Must Know
必须掌握
- 幻觉不仅是虚构事实，也包括错误引用、遗漏限制和不恰当的确定性。
- 单一基准不能同时代表准确、鲁棒、安全、公平、成本与真实任务。
- 最有价值的评测来自自己的材料、失败成本和验收规则。
Know Enough
应当了解
- 准确率、校准与鲁棒性
- 数据污染和裁判模型偏差
- 抽样、盲评和置信区间
Put It to Work
落实到工作
- 01
建立十个高价值固定样本，而不是随手问十个问题。
- 02
记录失败类型，不只记录总分。
- 03
同一版本、同一参数重复测试，保留日期和原始输出。
Common Mistakes
不要这样理解
- 用厂商自报分数替代实测
- 只看平均分忽略严重失败
- 不断更换样本导致无法比较
Primary Sources