实测数据

AEROS 的承诺，不是写出来的，
是测出来的。

三个 benchmark 落实运行时的生产承诺，测的就是开源仓库里那份代码。打包好的 benchmark 套件正在重构，之后公开发布。

测试基线：2,483 项通过 · main 分支 0 失败 · 每个 PR 都跑 identity-hash 回归。

Benchmark 1

Audit-first vs fail-open recovery

在四级 rollback 测试夹具上跑 200 trials，对比两种执行模式： audit-first（每次状态变更必须等 audit log 落盘后才提交）vs fail-open（动作先执行，audit 后补）。

下图每个小格代表一次 trial，绿色 = 回滚成功，红色 = 回滚失败。60ms 是 audit-first 模式每次调用付出的中位延迟。

结论

审计开销很小，审计缺口是致命的。60ms 的 p50 成本，把回滚成功率从 25% 拉到 100%。

来源：AEROS rollback 测试样本：N=200

Benchmark 2

同一个场景、同一份治理配置、同一个 frozen identity manifest 跑 N=100 次，每次取整段执行的 hash（含逐步决策、签名审计链、终态）做桶排。

下面这张直方图是真实输出：99 个桶全空，1 个桶塞下全部 100 次回放。Consolidation 路径里没有 RNG、没有 clock-as-input、没有 LLM。

结论

确定性不是口号，是默认行为。Consolidator 走确定性 SQL 聚合，persona 引擎对每个事件签名，cursor 与 facts upsert 通过 outbox 原子提交。同输入，同输出，每次。

来源：AEROS 回放 benchmark 样本：N=100

Benchmark 3

V1 / V2 / V3 是三个 planner 变体，对身份 manifest 与当前能力集的 grounding 程度逐级提升。在固定任务集上度量"无效动作率"（被 watcher 回滚、重复或 no-op 的动作）。

V1 是无 grounding 基线。V3 读 identity manifest、当前生效 ECM registry、当前 persona — 在这个 envelope 内规划。下图是无效动作率的下降。

结论

Planner 接上身份信息，无效动作下降 3–4×。Identity manifest 不只是审计锚点，本身就是规划输入，省下来的算力远超它的成本。

来源：AEROS planner benchmark 变体：V1 / V2 / V3 验证：V1, V2, V3 PASS

复现

运行时和完整测试套件都在开源仓库里。clone、装、跑。

git clone https://github.com/s20sc/aeros-core.git
cd aeros-core
make setup   # venv + runtime/dev/bridge/mcp 依赖

make test        # 完整 pytest
# v0.15.0 基线: 2,483 passed（套件持续增长）
make test-fast   # 跳过 integration 测试

# 打包版 benchmark 套件（场景 YAML、
# 矩阵 runner、打分）正在为跨运行时
# 可比性重构，公开发布在 roadmap 上。
# perf 门已在 CI 每个 PR 上跑。

上面的数字测自内部基线，该基线即 v0.15.0 开源版的前身。

下一个公开 benchmark 是 EmbodiedGovBench v2 — 一个公开的 governance 开销/回放确定性/恢复延迟测试套件，已在 roadmap 上，欢迎贡献。