如何对比harness的实力水平
这是个好问题，但先要破一个误区：harness 的"实力"必须控制变量才可比——因为同一个 harness 换个模型，表现天差地别。所以比的是"在同模型、同任务下，这套外壳把模型的能力发挥出多少 / 少崩多少 / 少要人接手多少"。
下面给你①评判维度（rubric）②怎么实测③四者的定性对比。
一、评判一个 harness 实力的 10 个维度
| 维度 | 看什么 | 为什么重要 |
|---|---|---|
| 1 Agent 循环质量/自主性 | 多步规划、出错自恢复、知道何时停 | 决定"长任务能不能自己跑完不崩" |
| 2 上下文/记忆管理 | 上下文压缩、跨会话持久记忆、检索 | 决定"任务变长后会不会失忆/降智" |
| 3 工具生态 & 扩展性 | 内置工具广度、MCP 支持、自定义工具/skill | 决定"能接多少外部能力和数据" |
| 4 模型灵活性 | 锁死一家 vs 可换任意模型、故障切换 | 决定"能不能用便宜/最强/本地模型" |
| 5 Skills/可复用流程 | 是否支持封装 SOP、生态大小 | 决定"特定活干得专不专业、稳不稳" |
| 6 多 Agent/编排 | 子 agent、并行、workflow | 决定"能不能并行大任务" |
| 7 安全/权限/沙箱 | 权限模型、审批、沙箱隔离 | 决定"敢不敢放它动生产环境" |
| 8 接口/集成 | CLI/IDE/TG桥/gateway/cron/headless | 决定"能不能嵌进你的流程自动化" |
| 9 可靠性/生产就绪 | 稳定性、可观测、断点续跑 | 决定"能不能托付真活" |
| 10 控制/自托管/成本 | 开源否、自托管、隐私、成本可控 | 决定"是被厂商锁死还是你说了算" |
二、怎么"实测"（三种方法，从硬到软）
- 控制变量盲测（最靠谱）：同一个模型（比如都用 DeepSeek 或都用 Claude）+ 同一批任务（就用我给你做的那套「PC 操作盲测集」思路）跑过四个 harness，记 成功率 / 完成步数 / 出错自恢复 / 人工干预次数 / token 成本。这样才隔离出"harness 本身的贡献"。
- Agentic 基准：SWE-bench Verified、Terminal-Bench 这类——但注意它们是"模型+harness+策略"的系统分（跟 OSWorld 一样），不是纯 harness 分，只能横向参考。
- 定性观察：给一个故意会出错的多步任务，看它怎么纠错、怎么压缩上下文、怎么请示权限——这最能看出 harness 的"工程功力"。
三、四者定性对比（诚实标注把握度）
⚠️ 我对 Claude Code 把握最高（我此刻就跑在它里面）；Codex 次之；OpenClaw / Hermes 是你生态里的、相对小众，我按"通用画像+你的配置"给，具体以你实测为准。
| 维度 | Claude Code | Codex (CLI) | OpenClaw | Hermes |
|---|---|---|---|---|
| 定位 | Anthropic 官方 agentic 编码/通用 harness | OpenAI 官方 CLI agent | 开源、模型无关的自托管 harness | 同族、自托管harness（你在用） |
| 模型 | 锁 Claude | 锁 OpenAI/GPT | 任意(Claude/GPT/DeepSeek/本地) | 任意(你配了codex/gptproto/DeepSeek) |
| 循环/自主性 | ⭐⭐⭐⭐⭐（顶级、纠错强） | ⭐⭐⭐⭐ | ⭐⭐⭐（看配置） | ⭐⭐⭐（看配置） |
| 上下文/记忆 | ⭐⭐⭐⭐⭐（压缩+持久记忆） | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
| 工具/MCP/skills | ⭐⭐⭐⭐⭐（MCP+skills+hooks+子agent） | ⭐⭐⭐⭐ | ⭐⭐⭐⭐（skills多、MCP、浏览器） | ⭐⭐⭐（config 决定） |
| 多 agent/编排 | ⭐⭐⭐⭐⭐（workflow/子agent） | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ |
| 安全/权限 | ⭐⭐⭐⭐⭐（权限模式/审批/hooks） | ⭐⭐⭐⭐（沙箱） | ⭐⭐⭐ | ⭐⭐⭐ |
| 接口集成 | ⭐⭐⭐⭐（CLI/IDE/SDK/远程） | ⭐⭐⭐⭐（CLI/云） | ⭐⭐⭐⭐（TG桥/gateway/cron） | ⭐⭐⭐⭐（TG桥/gateway） |
| 生产就绪/稳定 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐ |
| 控制/自托管/成本 | ⭐⭐（闭源、锁厂商） | ⭐⭐⭐（CLI 开源但锁模型） | ⭐⭐⭐⭐⭐（开源自托管、可换便宜模型） | ⭐⭐⭐⭐⭐（完全你掌控） |
| DX/文档/社区 | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐（小众） |
四、关键分野（一句话看懂差异）
这四个其实分成两派：
- 厂商精装派（Claude Code / Codex）：与自家模型深度耦合、开箱即用的 agentic 能力最强、DX 最好、最稳——但锁厂商、闭源/半闭源、控制权和成本在别人手里。
- 开源自托管派（OpenClaw / Hermes）：模型无关、可自托管、可换便宜模型（DeepSeek）、可深度定制、成本/隐私你说了算——但要你自己搭/调，开箱稳定性和打磨通常不如前者。
五、结论 & 给你的建议
- 要"开箱即用、单任务干得最漂亮最稳" → Claude Code（配 Claude） 目前是这四个里 agentic 天花板最高的；Codex（配 GPT）紧随。
- 要"完全掌控、低成本、模型自由、深度定制、自动化嵌进你的流程" → OpenClaw / Hermes——这正是你在服务器上用它们的理由。
- 务实打法（最适合你）：用 Claude Code/Codex 干"需要最强推理的攻坚活"，用 Hermes/OpenClaw 干"大量、常态、要控成本和隐私的自动化活"——各取所长，不用二选一。
怎么得出你自己的结论：别信任何排名（包括我这张表）。固定一个模型（比如都上 DeepSeek 或都上 Claude），拿我给你做的 PC 操作盲测集 / 研究盲测集，让四个 harness 跑同一批题，记成功率+步数+干预+成本——这才是隔离出"harness 实力"的唯一硬办法（就像 OSWorld 强调的：分数是"模型+harness+策略"的系统分）。
⚠️ 局限
- 更新极快；Hermes/OpenClaw 的实力高度依赖你给它挂了什么工具/skill/模型，我给的是画像不是定论。
- "最强"永远取决于任务类型 + 配的模型——没有绝对赢家。
要不要我把这套 「harness 实力盲测」做成一页（像 PC 测评那样），列好维度、评分表、"控制变量"测法，挂到你面板上？你就能拿同一套去背靠背考 Claude Code / Codex / OpenClaw / Hermes，用数据说话。