入池 ≠ 合格:判读完成的负样本(带判因)照收入池供训练与研究,对外合格口径以 verdict 列为准。
| 口径 | 数量 | 占比 | 分布 |
|---|---|---|---|
| 加载中… | |||
| 门 | 判定内容 |
|---|---|
| ① render 非空 | 轨迹含真实工具调用过程,非纯文本报告 |
| ② held-out 隔离 | 与评测 held-out 正本交集=0,防背题 |
| ③ qid 唯一 | 指纹+hash 双判重门,同题异包装拒收 |
| ④ prompt 去重 | 题面去重,训练多样性保护 |
| ⑤ gold 可解析 | 每条带环境真值锚,可复核 |
判读由独立验证器执行(判分与采集不同体,不可写面),判分-结算绑定,结果落库可复核。