Завершённые задачи
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
Стресс-тест AI-агентов за пределами benchmark-оценок
ICI Sentinel исследует, как ошибки входят, распространяются и переживают коррекцию в сети агентов, памяти, инструментов и оркестраторов. Цель — найти механизмы, которые не объясняет один итоговый балл.
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
Больше завершённых легитимных задач. Меньше успешных атак.
В самостоятельно проведённом парном сравнении AgentThreatBench Sentinel P3 с контролем хоста завершил все 24 наблюдавшиеся задачи и предотвратил все 19 размеченных атак. Qwen 7B и параметры генерации не менялись.
Успешные атаки
Baseline5/19Sentinel P30/19
Безопасные завершения
Baseline5/24Sentinel P324/24
Регрессии по случаям: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
Пройдены 132/132 доступные регрессионные проверки; одна архивная фикстура отчётности была недоступна для повторного запуска.
Уже наблюдавшиеся данные разработки и регрессии; это не новый holdout и не независимая валидация. Измеренное преимущество относится к этим 24 случаям. Обобщение на новые задачи ещё не проверено.
01
Проблема
Агент может пройти знакомый тест и провалиться при неполных доказательствах, конфликте инструментов, загрязнённой памяти или взаимном усилении одной ошибочной предпосылки несколькими агентами. Правильный финальный ответ не доказывает независимость источников и устойчивость исправления.
02
Подход ICI
Sentinel разделяет наблюдение, вывод, проверку, provenance, память и полномочия действия. Причинные гипотезы атакуются направленными контртестами и повторными запусками в изменённых условиях. Trace Audit различает OBSERVED, INFERRED, VERIFIED, UNVERIFIED и CONTRADICTION до вердикта ALLOW, WARN, BLOCK или HUMAN_REVIEW.
03
Операционный пример
Четыре агента приходят к консенсусу, но все зависят от одного исходного источника. Sentinel рассматривает согласие как коррелированное доказательство, меняет доступность или авторитет источника и проверяет, сохраняется ли вывод независимо.
04
Дисциплина доказательств
Публичный Live Trial предоставляет серверный Trace Audit, provenance, Goal Drift, Tool Authority, rate limiting, редактирование секретов и экспорт JSON. Real-Web остаётся отдельным режимом и считается настроенным только при наличии серверной credential провайдера. Отдельно 3 октября 2026 года offline deterministic action-trace replay с замороженной политикой на 48 author-created held-out трассах дал 48/48 правильных решений, заблокировал 23/23 unsafe предложенных действий и сохранил 25/25 benign трасс. LLM inference в этом replay не выполняется. Это внутренняя contract validation, а не официальный внешний benchmark или независимая сторонняя валидация. Текущий канонический кандидат — ici-sentinel@13.1.0-rc.2 (RC2). Отдельный реальный внешний пакет заморожен для UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0 (AgentDojo, AgentThreatBench, b3) и WebArena-Verified 1.2.3; официальные внешние результаты не публикуются до появления нативных benchmark-артефактов.
CONTACT
Работа с ICI
Исследовательское сотрудничество, контролируемые пилоты и техническая оценка.