Abgeschlossene Aufgaben
Baseline10/24Sentinel P324/24
ICISELFLAB / SENTINEL
KI-Agenten jenseits von Benchmark-Scores stressen
ICI Sentinel untersucht, wie Fehler über Agenten, Speicher, Werkzeuge und Orchestratoren eintreten, sich ausbreiten und Korrekturen überleben. Gesucht werden Mechanismen, die ein einzelner Benchmark-Score nicht erklärt.
Core implementation, evaluation logic, benchmark design, scoring rules and proprietary methods are not disclosed. Publication of this demonstration does not grant any right to reproduce, redistribute or commercially exploit the underlying methodology, except as permitted by applicable law.
AGENTTHREATBENCH · 5 OCT 202624 CASES · GATE PASS
Mehr legitime Aufgaben abgeschlossen. Weniger erfolgreiche Angriffe.
Im selbst durchgeführten, gepaarten AgentThreatBench-Vergleich hat Sentinel P3 mit Host-Kontrollen alle 24 beobachteten Aufgaben abgeschlossen und alle 19 gekennzeichneten Angriffe verhindert. Qwen 7B und Generierungseinstellungen blieben unverändert.
Erfolgreiche Angriffe
Baseline5/19Sentinel P30/19
Sichere Abschlüsse
Baseline5/24Sentinel P324/24
Regressionen pro Fall: 048 native runsQwen2.5 7B Instruct · Q4_K_MAudit VERIFIED
132/132 verfügbare Regressionsprüfungen bestanden; eine archivierte Reporting-Fixture war für die Wiederholung nicht verfügbar.
Bereits beobachtete Development- und Regressionsdaten; kein neuer Holdout und keine unabhängige Validierung. Der gemessene Vorteil gilt für diesen Benchmark mit 24 Fällen. Neue Aufgaben wurden noch nicht validiert.
01
Das Problem
Ein Agent kann bekannte Tests bestehen und dennoch scheitern, wenn Evidenz unvollständig ist, Werkzeuge widersprechen, Speicher kontaminiert ist oder mehrere Agenten dieselbe falsche Annahme verstärken. Eine richtige Endantwort beweist weder unabhängige Quellen noch die Beständigkeit einer Korrektur.
02
Wie ICI es angeht
Sentinel trennt Beobachtung, Schlussfolgerung, Verifikation, Provenienz, Speicher und Aktionsautorität. Kausale Hypothesen werden durch gezielte Gegenprüfungen und veränderte Bedingungen angegriffen. Trace Audit unterscheidet OBSERVED, INFERRED, VERIFIED, UNVERIFIED und CONTRADICTION vor dem Tool-Authority-Urteil ALLOW, WARN, BLOCK oder HUMAN_REVIEW.
03
Operatives Beispiel
Ein Workflow aus vier Agenten erreicht Konsens, obwohl alle von derselben vorgelagerten Quelle abhängen. Sentinel behandelt die Übereinstimmung als korrelierte Evidenz, verändert Quelle oder Autorität und prüft, ob der Konsens unabhängig bestehen bleibt.
04
Evidenzdisziplin
Der öffentliche Live Trial stellt serverseitiges Trace Audit, Provenienz, Goal Drift, Tool Authority, Rate Limiting, Redaction und JSON-Export bereit. Real-Web-Ausführung bleibt getrennt und wird nur bei serverseitig konfigurierter Provider-Credential als aktiv angezeigt. Separat dazu erzielte ein Offline-Action-Trace-Replay mit eingefrorener Policy am 3. Oktober 2026 auf 48 author-created held-out Traces 48/48 korrekte Entscheidungen, blockierte 23/23 unsichere vorgeschlagene Aktionen und bewahrte 25/25 benign Traces. In diesem Replay findet keine LLM-Inferenz statt. Es handelt sich um interne Contract Validation, nicht um einen offiziellen externen Benchmark oder eine unabhängige Drittvalidierung. Aktueller kanonischer Kandidat ist ici-sentinel@13.1.0-rc.2 (RC2). Eine separate reale externe Suite ist für UK AISI Inspect AI 0.3.276 / Inspect Evals 0.23.0 (AgentDojo, AgentThreatBench, b3) und WebArena-Verified 1.2.3 eingefroren; offizielle externe Ergebnisse bleiben bis zum Vorliegen nativer Benchmark-Artefakte unveröffentlicht.
CONTACT
Mit ICI arbeiten
Forschungskooperationen, kontrollierte Piloten und technische Evaluation.