aeval 端到端判分链路

aeval 端到端判分链路 A data-flow diagram generated by Archify. 01 / 套件 02 / 组合 · 控制 03 / 执行 · 采集 04 / 判分 05 / 密封 · 产出 评测套件 · suites/ · YAML · 01 / 套件 · schema v2 评测套件 suites/ · YAML schema v2 aeval run · 校验 · 组合 job · 02 / 组合 · 控制 · 只委托不自建 aeval run 校验 · 组合 job 只委托不自建 控制插件 · dsh-eval-control · 02 / 组合 · 控制 · 宿主侧 控制插件 dsh-eval-control 宿主侧 Harbor 沙箱 · 执行 agent · 采集证据 · 03 / 执行 · 采集 · e2b Harbor 沙箱 执行 agent · 采集证据 e2b 判分链 · 证据门 → grader → veto · 04 / 判分 · 不过即拒 判分链 证据门 → grader → veto 不过即拒 复算 recompute · 密封 bundle 独立校验 · 04 / 判分 复算 recompute 密封 bundle 独立校验 密封证据库 · TrialStore · SQLite · 05 / 密封 · 产出 · attestation 密封证据库 TrialStore · SQLite attestation 报告 · 面板 · pass^k · 达标 · 红线 · 05 / 密封 · 产出 · 自包含 HTML 报告 · 面板 pass^k · 达标 · 红线 自包含 HTML 加载套件 YAML 校验 委托执行 Harbor job 注入实验配置 租约 · 变量 · fork 密封 trial 目录 逐产物 sha256 判定 + 密封 attestation 聚合渲染 pass^k · 维度 密封 bundle sha256 复算 Legend primary data policy / PII async batch data store data flow

确定性判分链

  • • requirements 门先行，再进 grader
  • • outcome 与轨迹分层，阈值折叠
  • • 违规走 veto 终裁，不做加权平均
  • • 可靠性用 pass^k，不靠单次通过

防篡改证据

  • • 逐产物 sha256 校验
  • • 采集清单绑定运行时锁
  • • recompute 独立复算密封 bundle
  • • rejudge 前置不满足即拒绝

agent 中立内核

  • • new-agent 脚手架 + conformance 验证
  • • 控制面按 flavor 注入: DSH 用 dsh-eval-control
  • • 变量注入 · 网关租约预算 · fork 血统
  • • 同一链路评 DSH / deepagent / 任意 ACP agent