# L2 深度报告样例 V2 · v5-harness 双基准(J2-RL 训练锚 × L3 SWE 配对评测)

> 产品化产出 B · 判据③样例(L2 档全形态)。2026-10-06 v2(v1 2026-10-05 的扩展版;替换托管精简版)。
> 纪律:数据全部真实可复核,坐标逐条可寻址;负结果照报(§6 两例)。

## 1. 被测物

| 项 | 值 |
|---|---|
| 被测 harness | v5-harness(SuperAgent 内核+双工具集 str_replace_editor/submit) |
| 系统提示词 | student-prompt-v0.1(2026-09-28 冻结,训练=部署同文) |
| 配置披露 | repo @ 4e14a898(L3 榜披露版) |
| 判读方 | compass 判分机构(独立 A100,判据先于判分冻结,sha 棘轮) |

## 2. 评测设计(双基准)

**基准甲 · J2-RL tool-call 三门**(训练锚):33 条 held-out 真实轨迹全量展开 n=753 prompt;三门=legal/name/args 机器判分;δ≈2.1pp(差值<δ 记 flat 禁声称改进)。
**基准乙 · L3 SWE 配对评测**(对外形态):30 实例 held-out(SWE-bench_Verified 子集),与开源基线 mini-swe-agent@2.4.6 双臂配对;官方判分器+patch apply 校验。

## 3. 结果读数(全部判分侧实测定版)

### 基准甲(J2-RL 三门,%)

| 轮 | 配置 | legal | name | args | 判读 |
|---|---|---|---|---|---|
| r75 | 基线裸生成 | 98.0 | 91.6 | 11.55 | 基线 |
| r76 | +前缀约束生成 | 99.3 | 94.9 | **13.94** | args +3.58pp>δ=**UP**,dist -28.7% |
| r77 | +46 条异分布燃料 | — | — | 11.55 | -2.39pp>δ=**DOWN**(负结果照报,§6 例1) |

### 基准乙(L3 Round 1,n=30)

| 臂 | resolved | completed 内 | patch 合规 |
|---|---|---|---|
| v5-harness(ms50) | **8/30=26.7%** | 61.5% | 50%→(Round2 修复后采样 5/5 干净) |
| mini-swe-agent@2.4.6 | 5/30=16.7% | 50.0% | 63.3%(空 patch 9) |
| 配对差分 | **+10.0pp**(A 独解 4/B 独解 1/双解 4/皆未解 21) | | |

## 4. 判因分析(三层归因)

1. **r76 增益=结构约束非模型**:前缀+花括号强制生成使 tool-call 起手合法率上升;模型层零改动。
2. **L3 格式层病灶与根因链**:Round1 采样 patch 合规 50%——归因初审"缺尾换行"后**被自家复核降级为伴随特征**(12 题含 resolved 全缺尾换行),真阻断=malformed hunk 结构;进一步在采集端发现**第三根因:diff 正文被 strip() 剥尾行换行=corrupt patch**(unified diff 语法件),修复三件后采样 apply 率 5/5(TDD 4/4 绿)。
3. **燃烧批次趋势与指标甄别**:r82-r84 批量 verdict 60/68/64% 持平——格式修复后瓶颈转移到题目难度×模型能力,**该指标对产品(判因数据)与训练(reward 密度)均已够用,停止优化**(指标甄别本身随报告交付)。

## 5. 改进建议(随报告交付,L2 档≥3 条)

1. 扩池只收同分布(E1 金标/四验 pass 轨迹),异分布一律拒收(r77 因果实证);
2. patch 采集管线固化三件修复+发单前 apply 烟测门(5 题 100% 再全量);
3. 长程主锚 VB 真身进场排期(当前外部可比口径仅 30 题配对,话语权待补)。

## 6. 负结果照报(两例,随报告交付)

- **例1(r77)**:+46 条异分布燃料使 args 增益 -2.39pp>δ 回吐——"燃料对口性>数量"的因果实证,扩池路线据此修正;
- **例2(归因勘误)**:初版归因"缺尾换行=apply 失败确定性成因"被复核降级(判绩账第 N 例留痕)——**归因本身也在判据纪律内,错了公开改**。

## 7. 复现包

同卷冻结集(J2:33 轨迹/L3:30 实例)+判分脚本(机器三门/官方判分器,单 trial,temperature 0)+判据 sha16 列表+沉淀窗条款(改动后 ≥48h 再读数)。第三方按公开命令可独立复验。

## 8. 附:评测发现缺陷→修复→复测(L4 案例)

评测过程发现网关 chat 分支(无 tools+非流式)分钟级挂起——faulthandler 全栈定位=CPU embed 事件循环串行+冷启动经代理联网同步挂,非死锁;修复=三前置 wait_for 12s 降级+启动壳离线化;复测 HTTP 200。修复前后分差随 E1 复考(10/13)收口——**评测→修复→复测完整闭环留痕**。

---

*交付形态:本报告+复现包+机器判分原始输出。样例免费;对外交付 $199/次(L2 档,SLA 5 工作日/返工≤2/判据 sha 预注册)。v2 变更:并入 L3 双臂定版读数/修复链根因/指标甄别/负结果第二例;坐标 chunxiaoxx/nautilus-v5(见提交)。*