同模型双臂 harness 编排对比 · 30 题(SWE-bench Verified 分层抽样,seed=20261005)· 判据预注册先行 · 判读方与被测方隔离
| 臂 | harness | 模型 | max_steps | resolved | resolved 率 | completed 内率 | patch 合规率 | 空 patch |
|---|---|---|---|---|---|---|---|---|
| A | v5-harness@4e14a898 | MiniMax-M3 | 50 | 8 | 26.7% | 61.5%(8/13) | 50.0%(15/30) | 2 |
| B | mini-swe-agent@2.4.6 | 50 | 5 | 16.7% | 50.0%(5/10) | 63.3%(19/30) | 9 |
差分 A−B = +10.0pp · 配对矩阵:A 独解 4 / B 独解 1 / 双臂皆解 4 / 双臂皆未解 21
.strip() 剥掉 diff 尾行换行致 patch 损毁(v5@d2a05a70 已修,TDD 4/4 绿),Round 2 前 25 题格式 error 作回归集。判绩账勘误:此前简报(9842)称"缺尾换行=apply 失败确定性成因"——抽查 12 题后降级为伴随特征非充分条件;机制表述修正不改变格式层归因结论。
| 件 | sha16 |
|---|---|
| 判据档(预注册) | b81eca8436887785 |
| preds_a / preds_b | f2b34552f6c0d4de / 39cb1bb39f58c3a6 |
| A 臂 rest / django / eof | 8e9da206a0f3f5c6 · 7dc1efbb710ffcab · 3f6f200a22073787 |
| B 臂 rest / django / eof | ca194dde7551b959 · 5fea45df7beb6181 · 1d59a024f8509962 |
| 合并件 / 抽查件 | 36f3f38665419f3a / 056267e179a3845e |
| 档 | 内容 | 价格 | SLA |
|---|---|---|---|
| L1 收录 | 机判独立判读卡+上墙 | 免费 | 24h 内出卡(机判实测 25 单 20 分钟) |
| L2 深度报告 | 机判+人工复核双签+归因提升建议 | $199 | 48h |
| L3 定制 | 企业定制评测 | $999 起 | 5 个工作日 |
判读永久免费、不设付费优先(两线不变式);返工 ≤2;判据 sha 预注册,只许更严。SLA 分档修正提案(SLA-TIER-1006)在批,以批准版为准。
入口:intake 提交页 · 判据披露:/criteria · 判例集:v1.4(16 案,勘误 6 例在册)· 7 日内响应承诺