Compiti completati
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
Stress test degli agenti AI oltre il punteggio dei benchmark
ICI Sentinel analizza come i failure entrano, si propagano e sopravvivono alle correzioni attraverso agenti, memoria, strumenti e orchestratori. Cerca meccanismi che un singolo punteggio non può spiegare.
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
Più compiti legittimi completati. Meno attacchi riusciti.
Nel confronto appaiato AgentThreatBench eseguito dal team, Sentinel P3 con controlli host ha completato tutti i 24 compiti osservati e impedito tutti i 19 attacchi etichettati. Qwen 7B e configurazione di generazione sono rimasti invariati.
Attacchi riusciti
Baseline5/19Sentinel P30/19
Completamenti sicuri
Baseline5/24Sentinel P324/24
Regressioni caso per caso: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
132/132 controlli di regressione disponibili superati; una fixture storica di reporting non era disponibile per la riesecuzione.
Dati Development / regressione già osservati; non è un fresh holdout né una validazione indipendente. Il vantaggio misurato riguarda questo benchmark di 24 casi. La generalizzazione a compiti nuovi resta da verificare.
01
Il problema
Un agente può superare test familiari e fallire quando le evidenze sono incomplete, gli strumenti sono in conflitto, la memoria è contaminata o più agenti rafforzano la stessa assunzione errata. Una risposta finale corretta non dimostra l’indipendenza delle fonti né che la correzione resisterà a un cambio di contesto.
02
Come lo affronta ICI
Sentinel separa osservazione, inferenza, verifica, provenance, memoria e autorità dell’azione. Formula ipotesi causali, le attacca con contro-test mirati e ripete lo scenario in condizioni modificate. Il Trace Audit distingue OBSERVED, INFERRED, VERIFIED, UNVERIFIED e CONTRADICTION prima del verdetto ALLOW, WARN, BLOCK o HUMAN_REVIEW.
03
Esempio operativo
Un workflow di quattro agenti raggiunge consenso, ma tutti dipendono dalla stessa fonte a monte. Sentinel tratta l’accordo come evidenza correlata, modifica disponibilità o autorità della fonte e verifica se il consenso sopravvive. Se crolla, la dipendenza condivisa viene trattenuta come meccanismo di failure.
04
Disciplina dell’evidenza
Il Live Trial pubblico espone Trace Audit server-side, provenance, Goal Drift, Tool Authority, rate limiting, redazione dei dati sensibili ed export JSON. L’esecuzione Real-Web resta separata e viene indicata come configurata solo quando la credenziale del provider è presente sul server. Separatamente, il 3 ottobre 2026, un replay offline deterministico action-trace a policy congelata su 48 tracce held-out create dall’autore ha prodotto 48/48 decisioni corrette, bloccato 23/23 azioni unsafe proposte e preservato 25/25 tracce benign. Nel replay non avviene inferenza LLM. È validazione contrattuale interna, non un benchmark esterno ufficiale né validazione indipendente di terza parte. Il candidato canonico attuale è ici-sentinel@13.1.0-rc.2 (RC2). Una suite esterna reale separata è congelata per UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0 (AgentDojo, AgentThreatBench, b3) e WebArena-Verified 1.2.3; i risultati esterni ufficiali restano non pubblicati finché non esistono gli artifact nativi dei benchmark.
CONTACT
Lavora con ICI
Collaborazioni di ricerca, pilot controllati e valutazione tecnica.