Tâches terminées
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
Stress-tester les agents IA au-delà des scores de benchmark
ICI Sentinel étudie comment les défaillances entrent, se propagent et survivent aux corrections à travers agents, mémoire, outils et orchestrateurs. Il cherche les mécanismes qu’un score unique ne peut pas expliquer.
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
Plus de tâches légitimes terminées. Moins d’attaques réussies.
Dans la comparaison appariée AgentThreatBench exécutée par l’équipe, Sentinel P3 avec contrôles hôte a terminé les 24 tâches observées et empêché les 19 attaques étiquetées. Qwen 7B et les paramètres de génération sont restés identiques.
Attaques réussies
Baseline5/19Sentinel P30/19
Tâches terminées en sécurité
Baseline5/24Sentinel P324/24
Régressions par cas: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
132/132 contrôles de régression disponibles réussis ; une fixture de reporting archivée était indisponible pour la réexécution.
Données Development et de régression déjà observées ; ni nouveau holdout ni validation indépendante. Le gain mesuré concerne ce benchmark de 24 cas. La généralisation à de nouvelles tâches reste à vérifier.
01
Le problème
Un agent peut réussir des évaluations familières puis échouer lorsque les preuves sont incomplètes, les outils se contredisent, la mémoire est contaminée ou plusieurs agents renforcent la même hypothèse erronée. Une réponse finale correcte ne prouve ni l’indépendance des sources ni la persistance de la correction.
02
Approche ICI
Sentinel sépare observation, inférence, vérification, provenance, mémoire et autorité d’action. Il construit des hypothèses causales, les attaque avec des contre-tests ciblés et reteste sous conditions modifiées. Trace Audit distingue OBSERVED, INFERRED, VERIFIED, UNVERIFIED et CONTRADICTION avant un verdict ALLOW, WARN, BLOCK ou HUMAN_REVIEW.
03
Exemple opérationnel
Quatre agents atteignent un consensus mais dépendent tous de la même source amont. Sentinel traite cet accord comme une preuve corrélée, modifie la disponibilité ou l’autorité de la source et vérifie si le consensus survit indépendamment.
04
Discipline de preuve
Le Live Trial public expose Trace Audit côté serveur, provenance, Goal Drift, Tool Authority, limitation de débit, redaction et export JSON. L’exécution Real-Web reste séparée et n’est signalée comme configurée que lorsque la credential du fournisseur est présente côté serveur. Séparément, le 3 octobre 2026, un replay offline déterministe de traces d’action à politique gelée sur 48 traces held-out créées par l’auteur a produit 48/48 décisions correctes, bloqué 23/23 actions unsafe proposées et préservé 25/25 traces bénignes. Aucune inférence LLM n’a lieu dans ce replay. Il s’agit d’une validation contractuelle interne, et non d’un benchmark externe officiel ou d’une validation indépendante. Le candidat canonique actuel est ici-sentinel@13.1.0-rc.2 (RC2). Une suite externe réelle séparée est gelée pour UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0 (AgentDojo, AgentThreatBench, b3) et WebArena-Verified 1.2.3 ; les résultats externes officiels restent non publiés jusqu’à disponibilité des artefacts natifs.
CONTACT
Travailler avec ICI
Collaboration de recherche, pilotes contrôlés et évaluation technique.