AI Ops
Дежурство по тому, что делает модель, а не только по тому, жив ли сервер.
Для команд, у которых модели уже в production и некому дежурить по их поведению. Эта роль ведёт версии, стоимость, регрессию eval и инциденты, когда обновление модели меняет то, что делает продукт.
Счёт вырос вдвое, и никто не может сказать, какой агент это сделал.
За что отвечает AI Ops
Версии
Версии промпта, инструмента и модели, с регрессионными evals на пути выпуска.
Стоимость и доступ
Потолки стоимости, обнаружение циклов и кто что может вызывать.
Инциденты
Реакция, когда сдвигаются качество, утечка или затраты.
Это человек на фиксированном этапе. TokenGuard и Enterprise Agent Governance — продукты, которые эта роль предполагает. Продукты — инструменты. Роль — человек на дежурстве. Мониторинг IT, тот, что следит за серверами, — другой найм. AIOps означает именно мониторинг IT. Эта роль — AI Ops.
Где находится эта роль
AI Pivot Squad
После того как squad поставляет. Эта роль ведёт то, что делает модель.
Business Process AI
После того как агент рабочего потока уже в production.
Harness Engineer
Harness — то, за чем следит эта роль. Evals и трейсы идут раньше дежурства.
Частые вопросы
Нет. Мониторинг IT следит за серверами. Это и есть AIOps. Эта роль отвечает за то, что делает модель: версии, стоимость, регрессия eval и инцидент, когда обновление меняет продукт. Роль называется AI Ops.
Нет. Эти продукты применяют бюджеты, ловят неконтролируемые циклы и ведут реестр и трейс. Кто-то всё равно должен дежурить, когда цифра сдвигается. Этот кто-то — данная роль.
Нет. До запуска Harness Engineer строит evals и трейсы. Эта роль начинается, когда модель уже в production и поведение может сдвинуться без выпуска кода вашего приложения.
Поставьте дежурного по модели.
Scoping call на 30 минут достаточно, чтобы понять, является ли эта роль входом или система ещё не в production.