Агент — это не чат, а руки
Обычная языковая модель отвечает текстом. Вы читаете ответ, оцениваете его и сами решаете, что с ним делать. ИИ-агент устроен иначе: он не просто пишет, он действует. Отправляет письма, меняет записи в базе, платит по счетам, удаляет файлы, вызывает внешние сервисы. У агента есть руки — и именно руки, а не голова, создают главный риск.
Пока модель ошибается в тексте, цена ошибки — ваше время на перепроверку. Как только модель получает право нажимать кнопки за вас, цена ошибки становится равной цене самого действия. Отправленное не тому человеку письмо не вернуть. Удалённые данные не всегда восстановимы. Платёж, ушедший по неверным реквизитам, — это уже не «неточная формулировка».
Это и есть суть проблемы избыточной автономии: разрыв между тем, насколько уверенно агент действует, и тем, насколько он на самом деле прав.
Почему больше прав — это не больше пользы
Есть соблазн рассуждать так: чем больше агент умеет делать сам, тем он полезнее. На практике зависимость нелинейная. Польза от автономии растёт до определённого предела, а риск растёт вместе с широтой прав — и в какой-то момент риск обгоняет пользу.
Представьте два агента. Первый умеет читать вашу почту и предлагать черновики ответов. Второй умеет читать почту и отправлять ответы сам. Разница в одном слове — «отправлять», — но она меняет всё. Первый экономит время и не может навредить: последнее слово за вами. Второй экономит на одно действие больше и одновременно получает возможность разослать ошибку по всему списку контактов.
Польза второго агента над первым — маленькая. Дополнительный риск — большой. Именно в таких точках и прячется избыточная автономия: права, которые дают крошечную прибавку к удобству ценой несоразмерного роста последствий.
Цена ошибки — главный критерий
Чтобы решить, что можно доверить агенту, а что нельзя, бесполезно спрашивать «насколько агент умный». Правильный вопрос другой: что произойдёт, если он ошибётся именно здесь?
Полезно разложить действия по двум осям — обратимость и охват.
- Обратимость. Можно ли откатить действие? Черновик можно переписать. Отправленное письмо — нет. Локальное изменение легко вернуть из истории. Внешний платёж или публичную публикацию — гораздо труднее.
- Охват. Кого затронет ошибка? Только вашу личную заметку — или всю команду, клиентов, публичную аудиторию, деньги?
Действия, которые обратимы и затрагивают только вас, можно спокойно отдавать агенту. Действия, которые необратимы или выходят за пределы вашего контроля, требуют человека в контуре — всегда. Между этими полюсами лежит серая зона, и именно её нужно проектировать осознанно, а не по умолчанию.
Что нельзя отдавать без подтверждения
Без претензии на исчерпывающий список — вот классы действий, где подтверждение человека должно быть жёстким правилом, а не настройкой, которую удобно отключить.
- Деньги. Любой платёж, перевод, оформление подписки, изменение платёжных реквизитов. Ошибка здесь стоит ровно столько, сколько сумма.
- Необратимое удаление. Удаление данных, писем, файлов, записей без корзины и истории. Если откат невозможен, подтверждение обязательно.
- Внешняя коммуникация от вашего имени. Отправка писем, сообщений, публикаций. Агент не чувствует тон, отношения и историю — а получатель воспримет это как ваши слова.
- Изменение прав и доступов. Выдача доступа, смена паролей, приглашение людей в системы. Ошибка тут — это дыра в безопасности, а не опечатка.
- Действия над чужими данными. Всё, что затрагивает клиентов, коллег, контрагентов. Здесь цена ошибки — не ваша, а чужая, и это отдельный уровень ответственности.
Общий принцип простой: чем труднее откатить последствие и чем шире круг затронутых людей, тем ближе к обязательному подтверждению.
Human-in-the-loop — это не тормоз, а предохранитель
Человек в контуре (human-in-the-loop) часто воспринимают как то, что замедляет автоматизацию. Это неверная рамка. Предохранитель в электрощите не мешает электричеству работать — он срабатывает только тогда, когда что-то пошло не так. Хорошо спроектированный контур с человеком работает так же: он не встаёт на пути у безопасных действий и включается ровно там, где цена ошибки высока.
Ключ — в разной планке для разных действий, а не в едином «подтверди всё» на каждый шаг. Если агент просит подтверждения на всё подряд, человек перестаёт читать и начинает нажимать «ок» автоматически — и предохранитель превращается в фикцию. Подтверждение имеет ценность только тогда, когда оно редкое и осмысленное: агент сам делает всё обратимое и мелкое, а человека зовёт именно к тем действиям, которые дорого откатывать.
Есть и второй слой риска, о котором легко забыть. Агент действует по входным данным — а входные данные могут быть враждебными. Инструкция, спрятанная в письме или на веб-странице, способна подтолкнуть агента сделать то, чего вы не просили. Мы разбирали это отдельно в материале про инъекции в промпт. Вывод для темы автономии прямой: чем больше прав у агента, тем привлекательнее он как мишень — и тем важнее, чтобы опасные действия упирались в человека, а не проходили насквозь.
Как выстроить границу на практике
Не нужно ждать идеальной методологии. Достаточно один раз честно разложить действия агента по цене ошибки и провести черту.
- Составьте список того, что агент реально может сделать. Не что он говорит, а какие действия ему доступны технически.
- Отметьте по каждому: обратимо ли, кого затрагивает. Две пометки на действие — этого хватает.
- Проведите границу. Обратимое и локальное — автономно. Необратимое или затрагивающее других — только через подтверждение.
- Сделайте подтверждение содержательным. Человек должен видеть, что именно и над чем собирается сделать агент, а не абстрактное «выполнить действие».
- Пересматривайте при расширении прав. Каждое новое право агента возвращает вас к шагу один. Граница не рисуется однажды навсегда.
Это скучная работа, и именно поэтому её пропускают. Но она дешевле любой из ошибок, которые предотвращает.
Автономия — привилегия, а не настройка по умолчанию
Правильная позиция по отношению к ИИ-агенту — не «что бы ему запретить», а обратная: по умолчанию у агента нет прав на необратимое, и каждое такое право он получает осознанно. Автономию стоит выдавать как привилегию, которую агент заслужил на конкретном классе задач, а не как галочку, включённую при установке.
ИИ-агенты действительно снимают рутину и экономят часы. Но польза достаётся тому, кто заранее решил, где проходит граница между «агент делает сам» и «агент спрашивает». Провести эту границу — работа человека. Её нельзя делегировать самому агенту, потому что именно она защищает вас от него в тот единственный раз, когда он ошибётся уверенно.
В Alfric мы держимся того же принципа: действия с высокой ценой ошибки требуют вашего подтверждения, а ваши данные остаются на вашем компьютере. Автономия — там, где она безопасна; человек — там, где ошибка дорога.