Nach einem Modell-Update kürzt der Agent eine Bestell-ID.
Bestelldatensatz
erwartetORD-EXAMPLE-004817
gespeichertORD-EXAMPLE-004817
ID stimmt nichtRelease-Gates und AI Quality Manager
AI Quality System für KI-Agenten in Produktion
Erfahren Sie, was Ihr Agent kaputt gemacht hat, bevor Sie releasen. Release-Gates führen die wichtigsten Aufgaben des Agenten bei jedem Release erneut aus, und AI Quality Manager zeigt, welche Schritte regressiert sind: was erwartet wurde, was tatsächlich passiert ist und Screenshots.
20-minütiges Vertical Agents Safety Review buchen
Für Teams, deren Agenten in Geschäftssysteme schreiben. Kostenlos, 20 Minuten.
Kostenlos starten mit der Community Edition
Für Entwickler. 20 Runs pro Monat, keine Kreditkarte.
In Produktion bei den KI-Agenten eines zahlenden Kunden, wo es Regressionen in dessen Systemen findet. Zur Fallstudie ↓
Warum
Regressionen Ihres Agenten erkennen, bevor sie in Produktion gehen
Illustratives Beispiel
Nach einer Tool-Änderung schreibt der Agent den Betrag ins Steuerfeld.
Rechnungsformular
erwartet · Betrag1,240.00
gespeichert · Steuer1,240.00
Falsches FeldNach einer Prompt-Änderung überspringt der Agent einen Schritt, den er im letzten Release ausgeführt hat.
Lauf vs. letztes Release
Schritt 2: Lieferanterledigt
Schritt 3: Freigabefehlt
Schritt übersprungenErstklassige Unterstützung für das Testen Ihres KI-Agenten. Gates vor jedem Release und ein Vergleich mit dem letzten.
Was wir tun
Was zum AI Quality System gehört
Zuerst kommen die Release-Gates: die wichtigsten Aufgaben Ihres Agenten, vor jedem Release Schritt für Schritt ausgeführt und bewertet. AI Quality Manager schlägt Anpassungen daran vor, wenn sich Ihr Agent ändert, und ein Mensch gibt sie frei.
- 01
Die wichtigsten Aufgaben Ihres Agenten, vor jedem Release ausgeführt
Sie beschreiben jede Aufgabe in einfachen Worten: Vorbereitung, Aktionen und was am Ende geprüft wird. Das Gate führt sie in einem echten Browser mit einem Testkonto aus und bewertet jede Prüfung. Jede Prüfung bekommt ihr eigenes Urteil, mit dem fehlgeschlagenen Schritt, einem Trace und der Aufzeichnung.
- 02
Wir testen auch die schlechten Tage
Echte Systeme sind langsam, fallen aus und liefern abgeschnittene Daten. Während des Laufs lässt Agentiqa die Tools des Agenten Serverfehler und Timeouts zurückgeben und prüft, wie der Agent damit umgeht, denn genau dann speichern Agenten Dinge doppelt oder melden Erfolg nach einem Fehler.
- 03
Wir versuchen, Ihren Agenten zu missbrauchen, bevor es jemand anderes tut
Die Gates versuchen auch, den Agenten von seiner Aufgabe abzubringen: Anfragen außerhalb seiner Aufgabe und Prompt Injection, versteckt in E-Mails oder Dokumenten. Wenn der Agent etwas ändert, das er nicht ändern soll, schlägt die Prüfung fehl und Sie sehen den fehlgeschlagenen Schritt, das Lauf-Transkript und Screenshots.
- 04
Ein fehlgeschlagenes Gate zeigt, was kaputt ist
Eine fehlgeschlagene Prüfung zeigt den fehlgeschlagenen Schritt und Screenshots, sodass Sie sehen, was kaputt ist, bevor die neue Version live geht.
- 05
Regressionen, bestätigt durch einen erneuten Lauf
Wenn Sie die fehlgeschlagenen Aufgaben erneut ausführen, meldet AI Quality Manager einen Schritt nur dann als Regression, wenn er wieder fehlschlägt. Unbestätigte Fehler werden separat aufgeführt.
AI Quality Manager vergleicht jedes Release mit dem vorherigen, zeigt Regressionskandidaten und schlägt Test-Updates und neue Tests vor, die eine Person in Ihrem Team freigibt.
Während des 3-tägigen Enterprise-Rollouts arbeitet ein Agentiqa-Engineer mit Ihrem Team an den Aufgaben mit dem größten Risiko. Mehr zu Enterprise →
Agent
Aufgabe
Schritte
Gate
- Schritte erledigt
- Prüfungen bestanden
- Keine Regression seit dem letzten Release
Fehlgeschlagene Prüfung → was kaputt ist, Schritt für SchrittRegression gefunden
Vergleich
Was jeder Ansatz wirklich prüft
| Normale Tests | Monitoring nach dem Release | Agentiqa Release-Gates | |
|---|---|---|---|
| Prüft die Antwort des Agenten | Ja | Ja | Ja |
| Vergleicht Ergebnisse mit dem vorherigen Release | Teilweise | Teilweise | Ja |
| Läuft vor dem Release | Ja | Nein | Ja |
| Testet Serverfehler, Timeouts und Wiederholungen | Teilweise | Nein | Ja |
| Testet Missbrauch und Prompt Injection | Teilweise | Nein | Ja |
| Zeigt, was kaputt ist, bevor ein fehlerhaftes Release live geht | Teilweise | Nein | Ja |
| Wer es aktuell hält | Ihr Team | Ihr Team | Unsere Engineers, mit Ihnen |
| Zeigt, was nach dem Release in Produktion passiert | Nein | Ja | Nein, Gates laufen vor dem Release |
So funktioniert's
Erste Release-Gates live in 7 Minuten
Starten Sie selbst mit einer Aufgabe. Teams, die Agenten für Einkauf, Recht oder Finanzen bauen, nehmen den 3-tägigen Enterprise-Rollout dazu: Ein Agentiqa-Engineer arbeitet mit Ihrem Team an den riskantesten Aufgaben und hält die Gates aktuell, wenn sich Ihre Prompts und Modelle ändern. Mehr zu Enterprise →
- Verbinden Sie Ihre Testumgebung
Melden Sie sich im Web an, nutzen Sie die Agentiqa CLI im Terminal oder fügen Sie das Plugin für Claude Code, Cursor oder Codex hinzu. Hinterlegen Sie die URL Ihrer Testumgebung und ein Testkonto. Zugangsdaten werden mit AES-256-GCM verschlüsselt, und der Agent gibt sie über ihren Namen ein, sodass ihre Werte außerhalb des Modellkontexts bleiben.
- Beschreiben Sie eine Aufgabe
Schreiben Sie sie in einfachen Worten auf, so wie Sie einen Kollegen briefen würden.
- Ausführen und zusehen
Agentiqa meldet sich mit dem Testkonto an, arbeitet die Aufgabe Schritt für Schritt in einem echten Browser ab und prüft dann, was sich im verbundenen System geändert hat. Die Aufzeichnung können Sie sich ansehen.
- Ergebnis ansehen
Jeder Run endet mit bestanden oder fehlgeschlagen. Bei einem Fehler sehen Sie den Schritt, an dem es schiefging, mit Trace, Aufzeichnung und Schritten zur Reproduktion.
Zahlender Kunde: Lio
“Running them daily, we proactively catch regressions across all our systems and agents. In the first week alone, Agentiqa surfaced five real production bugs we'd never have caught without a full-time QA team.”
FAQ
Häufige Fragen
Weitere Fragen? Stellen Sie sie uns im kostenlosen 20-minütigen Review.
Review buchen →KI-Agenten verhalten sich anders, wenn sich Prompts, Modelle oder Code ändern, und eine Regression in einer wichtigen Aufgabe kann unbemerkt in Produktion gehen. Agentiqa führt diese Aufgaben vor jedem Release als Release-Gates aus, und ein fehlgeschlagenes Gate zeigt mit dem fehlgeschlagenen Schritt und Screenshots, was kaputt ist. AI Quality Manager vergleicht jedes Release mit dem vorherigen und markiert, welche Schritte sich verschlechtert haben.
Ein Quality Gate für KI-Agenten, bei Agentiqa Release-Gate genannt, ist eine Prüfung, die vor einem Release die wichtigsten Aufgaben Ihres Agenten ausführt und prüft, was er tatsächlich geändert hat. Schlägt sie fehl, sehen Sie den fehlgeschlagenen Schritt, das Lauf-Transkript und Screenshots.
Für KI-Agenten in Produktion, die in Kundensysteme in Einkauf, Recht, Finanzen und Lieferkette schreiben, wo ein falscher Datensatz mehr kostet als eine falsche Antwort. Sie bauen eine Web-App oder einen einfacheren Agenten? Die Community Edition ist kostenlos, mit 20 Runs pro Monat.
Normale Tests prüfen die Pfade, die Sie geskriptet haben. Monitoring zeigt, was nach dem Release schiefging. Release-Gates führen die wichtigsten Aufgaben des Agenten vor dem Release aus, und AI Quality Manager vergleicht die Ergebnisse mit dem letzten Release, damit eine Regression in diesen Aufgaben Ihren Kunden gar nicht erst erreicht.
Ja. Vor einem Release schicken die Gates dem Agenten Anfragen außerhalb seiner Aufgabe und Eingaben mit Prompt Injection, versteckt in E-Mails oder Dokumenten. Wenn der Agent etwas ändert, das er nicht ändern soll, schlägt die Prüfung fehl und Sie sehen den fehlgeschlagenen Schritt, das Lauf-Transkript und Screenshots.
Die ersten Release-Gates sind in 7 Minuten live. Wir erfassen die Systeme, die Ihr Agent ändert, prüfen zuerst die riskantesten Aufgaben und führen die Gates vor jedem Release aus.
Unsere Engineers bauen sie mit Ihnen und halten sie aktuell, wenn sich Ihr Agent ändert. Schlägt ein Gate fehl, sehen Sie den fehlgeschlagenen Schritt, das Lauf-Transkript und Screenshots.
Agentiqa arbeitet nach dem Prinzip Privacy-first. Zugangsdaten sind verschlüsselt und bleiben außerhalb des Kontexts des KI-Modells. SOC 2 ist in Arbeit. Ein Auftragsverarbeitungsvertrag ist auf Anfrage erhältlich.
Das 20-minütige Vertical Agents Safety Review ist kostenlos. Release-Gates gibt es auf Anfrage. Entwickler starten kostenlos mit Community (20 Runs pro Monat) oder nutzen Pro für 39 $ pro Monat.
Vertical Agents Safety Review
Finden Sie heraus, welche Aufgaben Ihres Agenten Sie zuerst absichern sollten.
Kostenlos, 20 Minuten.