这是什么:我们对外发布的一切材料(博客/论文/榜单/公告)出现错误后的公开修正记录,以及影响服务的运行事故记录。发现者不限于我们自己——外部读者抓出的错误与自查抓出的同等登载,并署名致谢。
为什么公开:评测机构的唯一资产是可信。可信不靠"从没错过",靠"错了之后发生了什么"。本页即那份"之后"。
一、勘误记录(对外发布面)
| 日期 | 错误(原口径) | 实际 | 发现者 | 修复锚 |
|---|
| 2026-09-05 |
发布材料 6 处声称评测为 same-embedder 设定 |
实际为不同 embedder,声明不成立 |
自查 |
6 处全部纠偏重发 |
| 2026-10-02 |
将 gtaras7 个人仓库(9 星)定为"里程碑" |
价值定级过高;降格为闭环 reference |
自查(用户质询触发) |
定级修正;方法论被对方仓库采纳 |
| 2026-10-06 |
判读函称"缺尾换行=apply 失败的确定性成因" |
抽查 12/12 题全缺尾换行(含 4 题 resolved),不构成确定性成因;真阻断=malformed hunk |
自查(复核抽查) |
勘误函送 v5 留痕;归因结论不变、机制表述修正 |
| 2026-10-10 |
历史文档将 Qwen3 对拍对象写作"7B" |
Qwen3 官方无 7B 尺寸(0.6/1.7/4/8/14/32B),被测物=8B(hf-mirror 7B 路径 404 实测) |
自查 |
registry 文案勘误部署;判据档留痕注记;G1-G4 数字零改动 |
| 2026-10-10 |
PRECOR 文章 int8 行"98.28% agreement + 2 flips"数学矛盾 |
98.28% 实测真值不变;flips 真值=5(2/291=99.31% 与 98.28% 互斥);"2"系容错数误抄。门判定不变(98.28%<99% FAIL) |
外部读者 arhancanli(dev.to 评论) |
当晚 5 个发布面(blog/arXiv draft/registry 等)全部修正;双渠道登门致谢;「发布前数学自洽检查」固化入 checklist |
⚠️ 编号说明:勘误编号体系自 2026-10-10(第 8/9 例)起固化;此前例按日期列示不补编号,一视同仁。
二、事故记录(服务运行)
| 日期 | 事故 | 影响 | 根因 | 修复 |
|---|
| 2026-10-13 |
判读器自产标签入训练池(NACRE judge 自判标签约 1800+ 条),违反自家 9/30 反自指护栏"判官自产标签永久禁入训练燃料";judge 全 pass 化(抽检 58/58 pass+空样本 42/42 pass),盲评一致率仅 37.9% |
数量棘轮暂停;2970 条自举池降级为待人工标注;可信燃料修正为 1032 条人工标签;四臂对照归因勘误(主因=标签崩坏非数据量);8B/1.7B 重训冻结至标签修复 |
自查(预注册抽检审计) |
SELFLABEL_AUDIT_20261013.md(判据同日冻结+盲评对拍全录) |
| 2026-10-11 → 10-12 |
云端记忆层语义 recall 全局拒绝 |
13.2 小时,1809 次请求被拒(10/11 23:05 → 10/12 12:19);判读公开面/判读 API 不受影响 |
单项目语料装载无时间预算,霸占串行锁分钟级;重试风暴填满 32 连接槽;槽为全局资源,一个项目的慢拖死所有项目 |
重启恢复(秒级);根修补丁:装载加 30 秒时间预算,超时返回部分结果;事故档 docs/incidents/ 如实落仓 |
三、拦截记录(发布前抓出,未外流)
| 日期 | 险情 | 拦截方式 |
|---|
| 2026-09-02 |
差点将上游官方基准(451 题)作为"自建基准"改名发布——侵权级风险 |
资产断言先 grep 溯源,发布前拦截;基准命名三连撞(CompassBench/ATLAS/CompassMem)后终选独立名 |
四、账本规则
- 谁都能上账:外部发现与内部发现同等登载,外部发现者署名致谢(除非要求匿名)。
- 只追加不删改:条目错误再勘误时新增条目指向旧条目,不抹改历史。
- 门判定与事实分层:勘误区分"事实错误已修"与"结论是否随之改变",门判定变化永远显式标注。
- 每条给修复锚:可查的修正落点(文件/页面/函件),不接受"已内部修正"式空口销账。