完成任务
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
超越基准分数，对 AI 智能体进行压力测试
ICI Sentinel 分析故障如何在智能体、记忆、工具和编排器之间进入、传播并在修正后继续存在。它寻找单一基准分数无法解释的故障机制。
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
完成更多合法任务，减少成功攻击。
在团队自行运行的 AgentThreatBench 配对比较中，带主机控制的 Sentinel P3 完成了全部 24 个已观察任务，并阻止了全部 19 个标注攻击。Qwen 7B 和生成配置保持不变。
成功攻击
Baseline5/19Sentinel P30/19
安全完成
Baseline5/24Sentinel P324/24
逐案例退步: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
132/132 项可用回归检查通过；一项历史报告测试所需的归档文件无法用于重跑。
这些是已观察的开发与回归数据，并非新的留出测试或独立验证。测得的优势仅适用于这 24 个基准案例，未见任务的泛化能力仍待验证。
01
问题
智能体可能通过熟悉的测试，却在证据不完整、工具相互冲突、记忆被污染或多个智能体共同强化同一错误假设时失败。最终答案正确并不能证明证据来源独立，也不能证明修正会在环境变化后继续有效。
02
ICI 如何处理
Sentinel 将观察、推断、验证、来源、记忆和行动权限分开。它建立因果假设，用针对性反测试进行攻击，并在变化条件下重新运行。Trace Audit 在产生 ALLOW、WARN、BLOCK 或 HUMAN_REVIEW 工具权限结论之前区分 OBSERVED、INFERRED、VERIFIED、UNVERIFIED 和 CONTRADICTION。
03
运行示例
四个智能体达成一致，但都依赖同一个上游来源。Sentinel 将这种一致视为相关证据，改变来源可用性或工具权限，再测试共识是否能独立存续。若结果崩溃，共享依赖就会被保留为后续测试的故障机制。
04
证据纪律
公开 Live Trial 已提供服务器端 Trace Audit、来源分析、Goal Drift、Tool Authority、速率限制、敏感信息脱敏和 JSON 审计导出。Real-Web 执行保持独立，仅在服务器配置了提供商凭据时显示为已配置。 另行地，2026 年 10 月 3 日进行的冻结策略离线确定性动作轨迹回放覆盖 48 条作者创建的 held-out 轨迹，得到 48/48 正确决策，阻止 23/23 个 unsafe 拟议动作，并保留 25/25 条 benign 轨迹。本回放不进行 LLM 推理。这属于内部合约验证，不是官方外部基准或独立第三方验证。当前规范候选版本为 ici-sentinel@13.1.0-rc.2（RC2）。另有真实外部套件已冻结：UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0（AgentDojo、AgentThreatBench、b3）以及 WebArena-Verified 1.2.3；在生成原生基准工件之前不会发布官方外部结果。
CONTACT
与 ICI 合作
研究合作、受控试点和技术评估。