选模型是选取舍，不是选排名

先把任务说清楚

选择困难通常源于任务描述得太笼统。「用 AI 帮我处理古籍」不是一个任务，「把这一卷影印本的释文按体例改成竖排简体、保留异体字并标出可疑处」才是。任务一旦说清楚，多数选项会自动排除。判断时可以先问四件事：这项工作要不要真正的推理，要处理多少字，出错的代价有多大，材料能不能外传。

排行榜为什么帮不上多少忙

公开评测的价值在于横向可比，代价是必须选择通用题目。有研究者提出应当在多个场景、多个指标上做整体性评估，而不是用单一分数概括模型，正是因为不同任务上的排序可能相当不同。一个在通用基准上略逊的模型，在你的文体和术语上未必更差。^S1

更结构性的问题是评测污染。公开基准流传日久，其题目与答案很可能已经进入某些模型的训练材料，使分数不再反映泛化能力。已有工作专门呼吁对每个基准逐一检测污染程度。这不是指控某家厂商作弊，而是说明用公开分数替代自己实测，在方法上就不成立。^S2

厂商发布材料同样不能当作独立依据。它们通常选择对自己有利的对比条件，且更新频繁。可以把它们看作待核实的线索，实际结论仍须由自己的测试给出。

自建测试集：三十条足矣

做法并不复杂。从过去的实际工作里挑出三十到五十个片段，覆盖典型情形与已知的难点，为每一条写下你认可的处理结果和判定标准。换模型时，用同一批题目跑一遍，逐条比对。重要的是把标准写在前面，而不是看到输出以后再决定满意与否，否则比较会滑向印象。^S3

六组取舍逐条说明

前面把六组变量并列提出，这里逐条说清各自的判断依据，因为它们并不同等重要，权重随任务而变。推理能力指的是模型在需要多步判断、需要权衡冲突证据时的表现。它最难从表面看出，也最需要用自己的难题去测。判断的窍门是专挑那些答案不唯一、必须给出理由的题目，看它的理由能不能站住，而不是看它的结论对不对，因为结论对而理由错的情形相当常见。^S1

速度与成本通常绑在一起，且只在批量工作中才成为真问题。处理三十条时快慢无关紧要，处理三千条时它决定这件事做不做得成。判断方法是先用少量样本估算单条耗时与消耗，再乘以总量，看结果是否可以接受。若不可接受，通常应当先想办法减少交给模型的量，例如用程序先筛掉明显无需处理的部分，而不是急着换更便宜的模型。

上下文长度的取舍前一栏已详述，此处只补一句：不要为了容纳长材料而选择推理能力明显更弱的模型，因为长材料恰恰更依赖判断力。宁可分段，也不要降级。工具与文件能力属于产品层面，评估时要分清是模型不会，还是产品没提供。数据去向则是一票否决项，凡是不能接受材料外传的场合，其余五项都不必再比。

六项之外还有一项不成文的考虑：稳定性。同一个模型在同一批任务上的表现若忽好忽坏，即使平均水平更高，也不如一个稍弱但稳定的模型好用，因为不稳定意味着每一条都要复核，省不下工。测试时不妨把同一批题目跑两遍，比较两次结果的差异程度，这个数字往往比平均分更有参考价值。^S1

还有一件事值得写进流程：每次换模型或发现产品有明显更新时，把测试集重跑一遍，并把结果与日期一并存档。这份逐次积累的记录，几轮之后就会变成比任何外部榜单都有用的东西，因为它衡量的正是你自己的材料、你自己的体例、你自己关心的那几类难点。别人的评测再详尽，也替代不了这一份。^S4