После обновления модели агент обрезает ID заказа.
запись заказа
ожидалосьORD-EXAMPLE-004817
сохраненоORD-EXAMPLE-004817
ID не совпадаетРелизные гейты и AI Quality Manager
AI Quality System для ИИ-агентов в продакшене
Узнайте, что сломал ваш агент, до релиза. Релизные гейты перезапускают ключевые задачи агента при каждом релизе, а AI Quality Manager показывает, какие шаги дали регрессию: что ожидалось, что получилось на самом деле и скриншоты.
Записаться на 20-минутный Vertical Agents Safety Review
Для команд, чьи агенты записывают данные в бизнес-системы. Бесплатно, 20 минут.
Начать бесплатно с Community Edition
Для разработчиков. 20 запусков в месяц, без карты.
В продакшене на ИИ-агентах платящего клиента: находит регрессии в его системах. Читать кейс ↓
Почему
Ловите регрессии агента до того, как они попадут в продакшн
Иллюстративный пример
После изменения инструмента агент записывает сумму в поле налога.
форма счёта
ожидалось · сумма1,240.00
сохранено · налог1,240.00
Не то полеПосле правки промпта агент пропускает шаг, который выполнял в прошлом релизе.
прогон vs прошлый релиз
шаг 2: поставщиквыполнен
шаг 3: согласованиепропущен
Шаг пропущенПолноценная поддержка тестирования вашего ИИ-агента. Гейты перед каждым релизом и сравнение с прошлым.
Что мы делаем
Что входит в AI Quality System
Сначала релизные гейты: ключевые задачи агента, которые перед каждым релизом выполняются и оцениваются шаг за шагом. AI Quality Manager предлагает их обновления по мере изменения агента, а человек их утверждает.
- 01
Ключевые задачи агента, перед каждым релизом
Вы описываете каждую задачу простыми словами: подготовка, действия и что проверить в конце. Гейт выполняет её в настоящем браузере с тестовым аккаунтом и оценивает каждую проверку. У каждой проверки свой вердикт, и вы видите упавший шаг, трейс и запись.
- 02
Мы проверяем и плохие дни
Реальные системы тормозят, падают и возвращают обрезанные данные. Во время прогона Agentiqa заставляет инструменты агента возвращать ошибки сервера и таймауты и проверяет, как агент с ними справляется: именно тогда агенты сохраняют что-то дважды или сообщают об успехе после сбоя.
- 03
Мы пробуем заставить агента ошибиться раньше, чем это сделает кто-то другой
Гейты также пытаются сбить агента с его задачи: запросы за рамками его работы и prompt injection, спрятанный в письмах или документах. Если агент меняет то, что не должен, проверка падает, и вы видите упавший шаг, транскрипт прогона и скриншоты.
- 04
Упавший гейт показывает, что сломалось
Если проверка не прошла, вы видите упавший шаг и скриншоты и понимаете, что сломалось, до выхода новой версии.
- 05
Регрессии, подтверждённые перезапуском
Когда вы перезапускаете упавшие задачи, AI Quality Manager отмечает шаг как регрессию, только если он снова падает. Неподтверждённые падения показываются отдельно.
AI Quality Manager сравнивает каждый релиз с предыдущим, показывает кандидатов на регрессию и предлагает обновления тестов и новые тесты, которые утверждает человек в вашей команде.
Во время 3-дневного внедрения Enterprise инженер Agentiqa работает с вашей командой над самыми рискованными задачами. Подробнее об Enterprise →
Агент
Задача
Шаги
Гейт
- Шаги выполнены
- Проверки пройдены
- Нет регрессий с прошлого релиза
Упавшая проверка → что сломалось, по шагамНайдена регрессия
Сравнение
Что на самом деле проверяет каждый подход
| Обычные тесты | Мониторинг после релиза | Релизные гейты Agentiqa | |
|---|---|---|---|
| Проверяет ответ агента | Да | Да | Да |
| Сравнивает результаты с предыдущим релизом | Иногда | Иногда | Да |
| Запускается до релиза | Да | Нет | Да |
| Проверяет ошибки сервера, таймауты и повторы | Иногда | Нет | Да |
| Проверяет злоупотребления и prompt injection | Иногда | Нет | Да |
| Показывает, что сломалось, до выхода плохого релиза | Иногда | Нет | Да |
| Кто поддерживает в актуальном состоянии | Ваша команда | Ваша команда | Наши инженеры, вместе с вами |
| Показывает, что происходит в продакшене после релиза | Нет | Да | Нет, гейты работают до релиза |
Как это работает
Первые релизные гейты работают уже через 7 минут
Начните сами с одной задачи. Команды, которые создают агентов для закупок, юриспруденции или финансов, добавляют 3-дневное внедрение Enterprise: инженер Agentiqa работает с вашей командой над самыми рискованными задачами и обновляет гейты, когда меняются ваши промпты и модели. Подробнее об Enterprise →
- Подключите тестовое окружение
Войдите в веб-версию, используйте Agentiqa CLI в терминале или добавьте плагин для Claude Code, Cursor или Codex. Укажите URL тестового окружения и тестовый аккаунт. Учётные данные шифруются по AES-256-GCM, а агент вводит их по имени, поэтому их значения не попадают в контекст модели.
- Опишите задачу
Опишите её простыми словами, как объяснили бы коллеге.
- Запустите и наблюдайте
Agentiqa входит под тестовым аккаунтом, шаг за шагом выполняет задачу в настоящем браузере, а затем проверяет, что изменилось в подключённой системе. Запись можно посмотреть.
- Посмотрите вердикт
Каждый запуск заканчивается вердиктом «пройден» или «не пройден». При падении видно шаг, на котором всё пошло не так, с трейсом, записью и шагами воспроизведения.
Платящий клиент: Lio
“Running them daily, we proactively catch regressions across all our systems and agents. In the first week alone, Agentiqa surfaced five real production bugs we'd never have caught without a full-time QA team.”
ИИ-агенты ведут себя иначе, когда меняются промпты, модели или код, и регрессия в ключевой задаче может незаметно попасть в продакшн. Agentiqa прогоняет эти задачи как релизные гейты перед каждым релизом, и упавший гейт показывает, что сломалось, с упавшим шагом и скриншотами. AI Quality Manager сравнивает каждый релиз с предыдущим и показывает, какие шаги перестали работать.
Quality gate для ИИ-агентов (в Agentiqa мы называем его релизным гейтом) — это проверка, которая перед релизом прогоняет ключевые задачи агента и смотрит, что он на самом деле изменил. Если проверка не прошла, вы видите упавший шаг, транскрипт прогона и скриншоты.
Для ИИ-агентов в продакшене, которые записывают данные в системы клиентов в закупках, юриспруденции, финансах и цепочках поставок, где неверная запись стоит дороже неверного ответа. Делаете веб-приложение или агента попроще? Community Edition бесплатна: 20 запусков в месяц.
Обычные тесты проверяют сценарии, которые вы прописали. Мониторинг показывает, что сломалось уже после релиза. Релизные гейты прогоняют ключевые задачи агента до релиза, а AI Quality Manager сравнивает результаты с прошлым релизом, поэтому регрессия в этих задачах не доходит до вашего клиента.
Да. Перед релизом гейты отправляют агенту запросы за рамками его задачи и входные данные с prompt injection, спрятанным в письмах или документах. Если агент меняет то, что не должен, проверка падает, и вы видите упавший шаг, транскрипт прогона и скриншоты.
Первые релизные гейты работают уже через 7 минут. Мы определяем системы, которые меняет ваш агент, сначала проверяем самые рискованные задачи и запускаем гейты перед каждым релизом.
Наши инженеры создают их вместе с вами и обновляют, когда меняется ваш агент. Если гейт не прошёл, вы видите упавший шаг, транскрипт прогона и скриншоты.
Agentiqa работает по принципу privacy-first. Учётные данные зашифрованы и не передаются в контекст ИИ-модели. Сертификация SOC 2 в процессе. Соглашение об обработке данных (DPA) по запросу.
20-минутный Vertical Agents Safety Review бесплатный. Стоимость релизных гейтов по запросу. Разработчики могут начать бесплатно с Community (20 запусков в месяц) или выбрать Pro за $39 в месяц.
Vertical Agents Safety Review
Узнайте, какие задачи агента закрыть гейтами первыми.
Бесплатно, 20 минут.