Research & Decision · AI Evaluation · 个人项目
测试结果是否足以支持模型选择？
我把“模型 A 是否优于模型 B、垂类适配是否带来有效提升”拆成可复核的任务、区分度与置信区间；当证据不足时，明确拒绝排名。
Decision Context
评测不是为了给模型排座次，而是判断结果能否支撑下一步投入。
公开基准分数很难直接回答真实研究或产品流程里的选择问题。这个项目用金融、陪伴、社区三个场景，把“能不能用”拆成任务规则、失败模式和可复核的验收证据。
Question / Evidence
先测量，再决定哪些结论值得相信。
受控任务
三域公开题集，统一运行与评分；区分机械断言是否正确、语义是否遵循要求，以及系统在边界场景中的失败模式。
区分度
陪伴集区分度仅 0.055，不足以承担稳定的模型优劣或安全排名。
置信区间
所有配对提升的 bootstrap 95% CI 均跨 0，因此点估计不能直接被写成有效提升。
复核材料
题集、运行产物、裁判结果、失败记录与复现脚本保留在公开仓库中。
Alternatives
四种看法，只有一种不会把噪声当结论。
点估计排名
把分数差直接写成模型优劣。风险：忽略样本量与不确定性。
安全榜单
用区分度不足的陪伴集制作稳定榜单。风险：测试本身无法分离对象。
垂类显著更强
把 Vertical Lift 的点估计当作有效提升。风险：CI 跨 0，结论越过证据。
降级为探针
保留场景的严重度与失败模式信息，但不输出模型排名。
Recommendation
拒绝当前排名；把陪伴集降级为严重度探针。
不要用当前陪伴集决定模型优劣或安全顺序；不要把 Vertical Lift 点估计写成有效提升。下一轮应先补充能真正区分对象的任务与人工校准，再谈选型。
Validation
三域、三因子、bootstrap CI：验证结论能否站住。
题集与对象
7 个评测对象、3 个领域、294 个有效评分单元；公开规则、样本与运行记录可复查。
评分协议
独立评分与逐条 provenance 保留；机械断言与语义遵循分开处理。
Vertical Lift
金融、陪伴、社区的受控比较用于区分训练、策略与编排因素，不外推为产品排名。
冻结与复现
隐藏集预注册；当前公开结果停在 LLM-judge-only，人工校准仍需补充。
已有结果包括：语义遵循率约 75–83%；陪伴域 96/96 配对比较的 CI 跨 0；金融域未检测到可分离 lift（不等于“没有 lift”）；社区域仅一个探索性比较不跨 0。
Boundary / What we cannot claim
结论停在“是否足以支持选择”，不越过研究边界。
Decision Impact / Next Action
下一步不是继续堆分数，而是补能改变决策的证据。
先补区分度
扩展能区分策略、工具调用与边界行为的任务。
再补人工校准
把 judge-only 结果与人工标准对齐。
最后才谈选型
只有当不确定性收窄，结果才值得进入真实 workflow。