25 августа CIO Click Алексей Шатилов выступил на Silk Road Finance & Technology Forum 2026 в рамках сессии The Autonomy Paradox — Governing Agentic AI in Regulated Financial Markets & Digital Trust Systems.
Одной из тем дискуссии стало управление автономными AI-системами в финансовом секторе, где ошибка затрагивает деньги, данные и интересы клиента.
Алексей предложил посмотреть на проблему иначе: вместо того чтобы решать, сколько можно доверить AI-агенту, сначала нужно определить, внутри какой системы он действует и где проходят ее границы.
Проблема не в количестве автономии
Разговор об AI-агентах сегодня часто сводится к поиску баланса между скоростью и контролем. Чем больше решений система принимает самостоятельно, тем выше кажется риск потерять над ней контроль. Отсюда знакомые меры: участие человека в критических действиях, лимиты, «песочницы», дополнительные проверки и возможность остановить систему.
Проблема такого подхода в том, что объективного ответа на вопрос «сколько автономии безопасно» не существует. Если человек должен подтверждать каждое действие, исчезает значительная часть пользы автономного агента. Если контроля недостаточно, организация получает риск решений, последствия которых приходится разбирать уже после события.
Сам этот конфликт возникает потому, что контроль пытаются добавить поверх автономии — вместо того чтобы заранее встроить его в среду, где агент работает.
Организации уже умеют ограничивать автономию
В работе с людьми этот принцип существует давно. Сотруднику не назначают абстрактный «уровень доверия» — ему дают роль, полномочия, лимиты и ответственность. Он принимает решения самостоятельно, но заранее знает, где его полномочия заканчиваются.
С AI сложнее. Большая часть этих правил живет в приказах, регламентах, должностных инструкциях и сложившейся практике. Человек способен их прочитать и понять контекст. Для машины они не являются исполняемой системой правил.
Поэтому, считает Алексей Шатилов, задача не только в том, чтобы сделать AI более управляемым. Нужно описать саму организацию так, чтобы ее могла прочитать машина.
Почему здесь уместна аналогия с фабрикой
Алексей Шатилов сравнивает нынешний этап развития AI с электрификацией фабрик.
Ранние фабрики работали от одного парового двигателя, который через общий вал и систему ремней приводил в движение все станки цеха. Когда появился электрический двигатель, сначала им просто заменили паровой, сохранив прежнее устройство фабрики. Выигрыш оказался небольшим.
Настоящее изменение произошло позже — когда собственный двигатель получил каждый станок. Но здесь, отмечает Алексей, обычно упускают главное — вал был не только приводом, он был системой управления. Он задавал один ритм на весь цех и тем самым снимал множество вопросов координации. Настроить можно было фабрику — не отдельный станок.
Когда станок получил собственный мотор, у него появилось и то, чего при вале не было: собственный выключатель, закрепленный оператор и сменный журнал, куда записывали режим работы, простои и чье это было вмешательство.
Сегодня роль такого общего вала внутри компаний часто выполняет цепочка согласований. Пока решение идет через нескольких людей, она одновременно работает как механизм контроля. AI-агент дает возможность часть этой цепочки убрать, но вместе с ней исчезает и встроенная координация.
Ответом для фабрик стало не возвращение к общему валу и не контролер возле каждого станка. Ответом стали выключатель, оператор и журнал. Тот же принцип, по мнению Алексея Шатилова, нужен и здесь.
Владелец, граница и след
В основе предложенной модели — три элемента.
Владелец — конкретный человек, а не подразделение, отвечающий за определенный класс решений. Он не обязан лично подтверждать каждое действие агента, но должен видеть, что происходит, и иметь возможность изменить правила.
Граница определяет, где агент действует самостоятельно, а где решение переходит человеку. Устанавливать ее Алексей предлагает не по тому, насколько модель уверена в своем ответе, а по цене возможной ошибки. Если действие затрагивает крупную сумму, чувствительные данные или способно серьезно повлиять на клиента, высокой уверенности системы для полной автономии недостаточно.
След нужен, чтобы после решения можно было восстановить картину: что увидел агент, какие данные использовал, откуда они поступили и на каком основании было совершено действие.
Здесь Алексей делает оговорку, которую считает принципиальной:
«Технический лог и след — не одно и то же. Лог фиксирует, что система сделала. След должен фиксировать, почему в тот момент это выглядело правильным решением. Разница проявляется, когда приходится разбирать ущерб: безупречный лог способен описывать безупречно исполненную ошибку, если данные на входе были подделаны».
Только вместе эти три элемента делают автономное решение управляемым.
Как это работает в финансах
Для финансового сектора модель особенно применима.
Дополнительное подтверждение операции обычно рассматривают как вопрос аутентификации: система сомневается в личности человека — значит, нужно проверить еще раз. В подходе Алексея Шатилова это в первую очередь граница автономии: система дошла до края собственных полномочий и возвращает решение тому, чьи это деньги.
Отсюда следует практический вывод: строгость подтверждения задает не неуверенность алгоритма, а цена ошибки. На крупной операции подтверждение нужно и тогда, когда система уверена.
Та же логика применима к данным. Если заранее определено, какие сведения нужны для конкретного решения, компании не требуется собирать лишнюю информацию «на всякий случай». На масштабе миллионов клиентов это вопрос не только приватности, но и безопасности: чем меньше избыточных чувствительных данных хранится, тем меньше поверхность риска.
Меняется и сама ответственность
Просто оставить «человека в контуре» недостаточно.
Чем больше операций выполняют агенты, тем реже требуется вмешательство сотрудника. В результате человек может формально отвечать за тысячи решений, которые фактически уже не контролирует.
Поэтому вместе с автоматизацией должна меняться и модель ответственности. Человек перестает быть тем, кто выполняет или подтверждает каждое действие. Его задача — владеть границей: понимать, что происходит внутри нее, видеть отклонения и иметь возможность менять правила работы системы.
Для компаний это означает, что внедрение AI — не только технологический проект. Оно требует пересмотра процессов и распределения ответственности.
Что становится предметом проверки
Меняется и сама постановка вопроса о контроле. Последние годы от автоматизированных систем требовали объяснимости: пусть машина расскажет, почему она решила именно так. Но рассказ невозможно проверить — особенно когда входные данные можно подделать.
Проверить можно другое: описание, сделанное заранее. Кто владелец решения, где заканчивается автономия, откуда пришли данные. Объяснение постфактум уступает место описанию заранее — и это, по мнению Алексея, не техническая деталь, а смена подхода к тому, что вообще считается доказательством.
Контроль от этого не ослабевает. Он становится конкретнее.
Сначала модель, потом агент
Главный практический вывод Алексея: внедрение автономных систем стоит начинать не с самого агента. Сначала нужно описать решения внутри конкретного процесса — что система сможет решать самостоятельно, кто за это отвечает, где заканчивается ее автономия и какие данные должны сохраняться для последующей проверки. И только затем передавать исполнение AI.
Описывать сразу всю компанию не нужно. Начать можно с одного процесса, где решения принимаются регулярно, есть понятный операционный риск и уже есть человек, который за него отвечает.
Так меняется и сам вопрос об автономии. AI-агенту не нужно доверять в человеческом смысле слова. Ему нужна правильно описанная среда, где у каждого действия есть владелец, граница и след. И тогда задача перестает быть поиском компромисса между скоростью и контролем: контроль становится частью самой системы, внутри которой агент получает автономию.
«Мы как будто боимся самого электричества. Дело не в электричестве, а в оборудовании», — заключает Алексей.
Instagram: @clickuz
Telegram: t.me/click_uz
LinkedIn: linkedin.com/company/click-uzbekistan
На правах рекламы.
