Сергей Боловцов: «Ремень безопасности для ИИ» – колонка в газете Ведомости
Поделитесь с друзьями
13 августа 2026 года в газете «Ведомости» была опубликована колонка Сергея Боловцова, директора Исследовательского центра искусственного интеллекта Института общественных наук Президентской академии. Размещаем полный текст этого материала для наших читателей.
Например, к концу 2025 г. уже 39% российских компаний использовали ИИ-агентов для решения рутинных задач.
Но есть нюанс. Ключи передали, а кнопку "Стоп" прикрутили далеко не везде. Уровень контроля над ИИ отстает от скорости его внедрения. И чем больше полномочий получает система, тем выше стоимость ошибки. Если в простом чат-боте она скорее вызовет у клиента раздражение, то в мультиагентной среде с прямым доступом к платежам или ERP-системе способна привести к большим потерям. В таком раскладе управляемость нужно воспринимать как настоящий ремень безопасности, без которого ускорение становится опасным.
Это общемировой разрыв: компании научились запускать пилоты быстрее, чем перестраивать процессы контроля доступа и делегирования ответственности.
По оценке Deloitte, почти три четверти компаний планируют развернуть агентные ИИ-системы в течение ближайших двух лет. Главные вопросы должны быть сформулированы так: кто и на каких условиях разрешает агентам действовать, кто видит журнал их операций, кто может отменить принятое решение и кто отвечает за последствия.
Россия пытается дать собственный ответ на этот вызов - создать доверенную среду для разработки и применения ИИ. Пока рано говорить, что это уже сложившаяся национальная специализация в сфере ИИ. Но отдельные ее элементы постепенно появляются.
Что стоит за словами "доверенный ИИ"? Это не система, которая никогда не ошибается. Доверенным скорее можно назвать ИИ, риски которого известны, полномочия ограничены, действия фиксируются, а результаты допускают проверку и отмену.
Первое правило: система работает в заранее заданных границах. Второе: значимые действия оставляют проверяемый след. Третье: у системы должны быть механизмы контроля - от автоматической проверки результатов до остановки, отката и передачи решения человеку. Чем выше возможный ущерб, тем меньше оснований полагаться исключительно на саму модель.
Наконец, "доверие" нельзя сводить к запрету на самостоятельное изменение алгоритма. Не менее важны качество данных, устойчивость к атакам, регулярное тестирование и ответственность конкретного владельца системы. Например, одно и то же решение может надежно работать в справочной системе, но создавать неприемлемые риски, получив доступ к платежам или объектам критической инфраструктуры.
Параллельно требования к управлению ИИ "вшиваются" в нормативную базу. С января 2025 г. действует национальный стандарт, посвященный системе менеджмента ИИ. Это и есть асимметричный ответ. Пока глобальные игроки соревнуются в скорости, Россия строит нишу поставщика ИИ, который делает ровно то, что от него ждут, - работает предсказуемо.
Можно ли превратить это в конкурентное преимущество страны? Пока это гипотеза. Одной безопасности недостаточно. Чтобы стать заметным поставщиком доверенного ИИ, стране нужны собственные конкурентоспособные модели, развитая инфраструктура и реальные примеры многолетней эксплуатации.
Тем более что глобальные игроки тоже не собираются оставлять эту нишу свободной: они развивают аудит моделей, управление доступом, инструменты наблюдения за агентами и механизмы человеческого контроля.
Но пространство для асимметричного ответа действительно существует. И чем больше инцидентов с неуправляемыми нейросетями будет происходить на глобальном рынке, тем выше будет спрос на альтернативу, у которой есть ремень безопасности.
