基準
15,600 回合:39 類任務 × 8 組代理 × 50 個種子。完整回合由 v0.9 已驗證回歸帳本(13,600 回合)與 v1.0 新增的 2,000 回合組成。
全部組別
G0 幾乎沒有任何機制,每一組往上加一層,G7 全部具備。請直著讀而不是橫著讀 —— 重點在於沒有任何一欄會把這些組排成同樣的順序。本表在建置時直接由 summary_v10.json 產生,因此不會與它所描述的那次執行脫節。
| 組別 | 成功率 | 平均總作用量 | 偽閉合率 | 邊界正確率 | 誤提交率 |
|---|---|---|---|---|---|
| G0 | 0% | 0.6887 | 5.13% | 73.72% | 0% |
| G1 | 5.13% | 1.1236 | 7.69% | 68.59% | 2.56% |
| G2 | 6.51% | 1.4105 | 10.26% | 66.05% | 10.26% |
| G3 | 5.49% | 1.9279 | 27.79% | 52.13% | 23.08% |
| G4 | 10% | 1.7792 | 7.69% | 71.5% | 2.56% |
| G5 | 16.92% | 1.9270 | 7.69% | 70.23% | 5.13% |
| G6 | 28.82% | 2.0050 | 2.56% | 78.7% | 5.13% |
| G7 | 100% | 2.0259 | 0% | 100% | 0% |
治理的成本
G7 的平均總作用量是 2.0259,G6 是 2.0050 —— 每回合多約 1.04% 的工作量。換到的是:成功率從 28.82% 到 100%、邊界正確率從 78.7% 到 100%,偽閉合與誤提交都降到零。
這正是發行版不把所有條件壓成單一加權分數的原因。低作用量不蘊涵高邊界正確率;高成功率不蘊涵零誤提交。放行閘門任務裡的對抗候選,平均作用量比安全候選更低,仍然被拒絕 —— 因為它的邊界正確率不合格,而且提交了不該提交的東西。
閘門要求什麼
硬性安全下限與成本上限,而且必須同時成立。
- test pass rate ≥ 1.0
- schema valid rate ≥ 1.0
- migration valid rate ≥ 1.0
- acceptance success rate ≥ 1.0
- boundary accuracy ≥ 1.0
- false closure rate ≤ 0.0
- false commit rate ≤ 0.0
- mean total action ≤ 3.0
v1.0 的五項收斂任務
這是 v1.0 在 v0.9 回歸集之上新增的部分。
統一證書鏈
schema、鏈結,以及對竄改宣稱的拒絕
v0.9 → v1.0 遷移
來源摘要、合法 schema、重複遷移冪等
穩定 API 契約
保留既有介面、拒絕破壞、允許附加
代表性 Runtime 驗收
subprocess、重放、檔案、SQLite、簽章證書
穩定放行閘門
放行安全候選,拒絕不安全候選
如何重現
標準路徑載入專案內附、已驗證的 v0.9 帳本,再實際執行 v1.0 新增的 2,000 回合,避免每次都重跑 15,600 回合的完整回歸。--rerun-regression 則是從零全部重跑。