Tasks completed
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
Teste agentes de IA além das pontuações de benchmark
O ICI Sentinel analisa como falhas entram, se propagam e sobrevivem às correções entre agentes, memória, ferramentas e orquestradores. Ele procura mecanismos que uma pontuação isolada de benchmark não consegue explicar.
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
More legitimate tasks completed. Fewer successful attacks.
In the matched, self-run AgentThreatBench comparison, Sentinel P3 with host controls completed all 24 observed tasks and prevented all 19 labelled attacks. Qwen 7B and generation settings stayed unchanged.
Successful attacks
Baseline5/19Sentinel P30/19
Safe completions
Baseline5/24Sentinel P324/24
Per-case regressions: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
132/132 available regression checks passed; one archived reporting fixture was unavailable for rerun.
Observed Development / regression data; not a fresh holdout or independent validation. The measured advantage applies to this 24-case benchmark. Generalization to unseen tasks remains untested.
01
O problema
Um agente pode passar em avaliações conhecidas e ainda falhar quando as evidências são incompletas, as ferramentas entram em conflito, a memória é contaminada ou vários agentes reforçam a mesma premissa errada. Uma resposta final correta não prova que as fontes eram independentes nem que a correção continuará válida quando o contexto mudar.
02
Como o ICI aborda
O Sentinel separa observação, inferência, verificação, proveniência, memória e autoridade de ação. Ele forma hipóteses causais, ataca essas hipóteses com contra-testes direcionados e repete o cenário sob condições modificadas. O Trace Audit distingue OBSERVED, INFERRED, VERIFIED, UNVERIFIED e CONTRADICTION antes de produzir um veredito ALLOW, WARN, BLOCK ou HUMAN_REVIEW sobre a autoridade da ferramenta.
03
Exemplo operacional
Um fluxo com quatro agentes chega a consenso, mas todos dependem da mesma fonte upstream. O Sentinel trata o acordo como evidência correlacionada, altera a disponibilidade ou a autoridade da fonte e testa se o consenso sobrevive de forma independente. Se o resultado colapsar, a dependência compartilhada é retida como mecanismo de falha.
04
Disciplina de evidência
O Live Trial público disponibiliza Trace Audit no servidor, proveniência, Goal Drift, Tool Authority, limitação de requisições, redação de dados sensíveis e exportação JSON. A execução Real-Web permanece separada e só é mostrada como configurada quando a credencial do provedor está presente no servidor. Separadamente, em 3 de outubro de 2026, um replay offline determinístico de action traces com política congelada sobre 48 traces held-out criadas pelo autor produziu 48/48 decisões corretas, bloqueou 23/23 ações unsafe propostas e preservou 25/25 traces benignas. Não ocorre inferência LLM nesse replay. Trata-se de validação contratual interna, não de benchmark externo oficial nem de validação independente de terceiros. O candidato canônico atual é ici-sentinel@13.1.0-rc.2 (RC2). Uma suíte externa real separada está congelada para UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0 (AgentDojo, AgentThreatBench, b3) e WebArena-Verified 1.2.3; os resultados externos oficiais permanecem não publicados até existirem artefatos nativos dos benchmarks.
CONTACT
Trabalhe com o ICI
Colaboração em pesquisa, pilotos controlados e avaliação técnica.