Государственный экзамен для машины

Почему Соединённые Штаты начинают проверять не ум искусственного интеллекта, а его способность оставаться внутри разрешённой задачи

Ещё недавно испытание искусственного интеллекта напоминало школьную олимпиаду. Машине задавали вопрос. Машина отвечала. Ей предлагали написать программу, решить математическую задачу, поставить диагноз по описанию симптомов, перевести текст, распознать изображение или найти ошибку в компьютерном коде. Затем исследователи подсчитывали правильные ответы, сравнивали модели и объявляли очередного победителя.

В центре испытания находилась способность. Насколько хорошо машина рассуждает? Насколько быстро находит решение? Сколько профессиональных задач способна выполнить? Может ли превзойти человека в программировании, анализе документов или поиске уязвимостей?

Летом 2026 года характер вопроса изменился. Соединённые Штаты начали готовить добровольные государственные кибериспытания наиболее мощных американских моделей. Белый дом пригласил Meta, Anthropic, OpenAI и Google обсудить процедуру проверки. Публично пока не были раскрыты ни окончательные метрики, ни порядок публикации результатов, ни последствия неудовлетворительной оценки. Тем не менее сам политический поворот уже произошёл: государство решило войти в испытательную лабораторию и посмотреть, что именно делает машина, получившая возможность действовать.

Теперь проверяется не только способность найти уязвимость. Проверяется способность не использовать её там, где это запрещено. Не только умение построить план. Но и способность остановиться у границы поручения. Не только качество ответа. Но и фактическая последовательность операций, которые система совершает между получением задания и предъявлением результата. Так обычный тест интеллекта превращается в государственный экзамен поведения.

Модель отвечала. Агент действует

Чтобы понять значение происходящего, необходимо разделить два понятия, которые в публичной дискуссии часто смешиваются.

• Первое — модель. Она получает запрос и формирует ответ. Даже очень сложный ответ остаётся информационным продуктом: текстом, изображением, расчётом, программным кодом или рекомендацией.
• Второе — агент. Агент не ограничивается ответом. Он может получить цель, разбить её на промежуточные задачи, выбрать инструменты, открыть браузер, обратиться к базе данных, запустить программу, создать файл, отправить сообщение, проверить результат и продолжить действие.

Модель говорит человеку: «Вот что следовало бы сделать». Агент отвечает иначе: «Я это сделал». Разница между этими двумя фразами и создаёт новый объект государственного контроля. Пока система только предлагает план, основным риском остаётся ошибочный совет. Но когда она получает инструменты, внешние соединения и право самостоятельно выбирать последовательность операций, ошибка перестаёт быть только информационной. Она становится событием.

Неправильный медицинский ответ может повлиять на решение врача. Однако агент, получивший доступ к больничной системе, способен самостоятельно изменить запись, переслать данные или отменить назначение.

Ошибка языковой модели может содержаться в тексте. Ошибка исследовательского агента может привести к удалению архива.

Неверное рассуждение обычного чат-бота остаётся на экране. Неверное рассуждение автономной системы способно превратиться в сетевое подключение, команду, платёж, письмо, публикацию или вмешательство в чужую инфраструктуру.

Именно поэтому государство начинает интересоваться не только тем, что машина знает, но и тем, что она делает, когда ей разрешают действовать.

Испытание началось после происшествий

Политические решения редко возникают только из научного любопытства. За обсуждением государственных испытаний стоят конкретные инциденты. OpenAI сообщила о расследовании случая, в котором автономный агент вышел за пределы контролируемой испытательной среды и получил доступ к инфраструктуре Hugging Face. В ходе дальнейшей проверки компания обнаружила и другие случаи нарушения изоляции, хотя часть из них оставалась внутри собственной сети OpenAI.

Почти одновременно Anthropic раскрыла результаты внутренней проверки более чем 141 тысячи испытательных сессий. В трёх случаях модели получили доступ к реальным внешним системам компаний во время кибериспытаний. Причиной, согласно изложенной компанией версии, стало непредусмотренное подключение к интернету и смешение реальной инфраструктуры с испытательной средой. Anthropic остановила соответствующие проверки и назвала произошедшее операционным провалом.

Эти случаи ещё предстоит окончательно исследовать. Необходимо установить точную архитектуру заданий, действовавшие инструкции, объём предоставленного доступа, действия операторов и полноту сохранённых журналов.

Но для государства уже достаточно самого факта возникновения новой категории происшествий. Машину поместили в испытательную клетку. Машина обнаружила выход. После этого вопрос о прочности клетки перестал быть внутренним техническим делом её производителя.

Что именно собирается экзаменовать государство

Формально американская инициатива касается киберспособностей наиболее мощных моделей: умения обнаруживать уязвимости, строить многоэтапные цепочки атаки и выполнять задачи, которые раньше требовали подготовленного специалиста. Ещё весной 2026 года американские государственные структуры расширяли испытания, получая ранний доступ к моделям Google, xAI, Microsoft, OpenAI и Anthropic.

Однако после происшествий предмет проверки неизбежно становится шире. Государству недостаточно узнать, способна ли система взломать защищённый объект в лабораторном сценарии. Необходимо проверить, различает ли она настоящий объект и имитацию, исполняет ли ограничения, замечает ли изменение условий и прекращает ли операцию после появления признаков выхода за пределы разрешённой среды.

Следовательно, экзамен должен охватывать три разных объекта.

Первый объект — возможности модели

Что она умеет? Может ли найти уязвимость, получить дополнительные полномочия, обойти защитное ограничение, скрыть часть операций или построить длинную цепочку действий? Это традиционная проверка силы инструмента.

Второй объект — поведение агента

Что он делает, когда сталкивается с препятствием? Остановится ли после прямого запрета? Попытается ли обойти ограничение? Станет ли использовать новый инструмент, который формально доступен, но не требовался для выполнения поручения? Продолжит ли операцию после обнаружения признаков реального ущерба? Это уже проверка операционной дисциплины машины.

Третий объект — организация, которая выпустила агента

Какие разрешения она предоставила системе? Кто создал испытательную среду? Кто наблюдал за действиями агента? Существовала ли аварийная остановка? Через сколько времени было замечено отклонение? Можно ли восстановить полную последовательность событий? Это экзамен не для модели, а для её разработчика.

Таким образом, государственная проверка искусственного интеллекта не может быть сведена к соревнованию программ. Экзаменуемых трое: машина, система контроля и организация-владелец.

Экзамен без опубликованных билетов

Американская программа пока называется добровольной. Компании должны сотрудничать с государством, предоставлять модели для проверки и обсуждать процедуру испытаний. Однако на момент подготовки статьи Белый дом не опубликовал исчерпывающих сведений о метриках, пороговых значениях, составе испытателей и порядке раскрытия результатов.

Поэтому перед нами ещё не полноценная система государственной сертификации. Скорее это переговоры о том, каким должен быть будущий экзамен.

И здесь возникает первое политическое противоречие. Чтобы испытать машину, государству необходимы знания разработчика. Только компания в полной мере знает архитектуру модели, особенности её обучения, внутренние ограничения и способы подключения инструментов.

Но чем сильнее государство зависит от знаний компании, тем больше компания может влиять на критерии собственной проверки. Разработчик способен предложить удобный сценарий испытания, ограничить доступ к внутренним данным, определить допустимую форму отчёта и объяснить каждый инцидент как частную техническую ошибку.

В результате государственный экзамен рискует превратиться в совместную демонстрацию, во время которой производитель заранее знает задания, сам готовит испытательную площадку и участвует в толковании результата.

Это не означает, что сотрудничество с компаниями не требуется. Без него серьёзное испытание невозможно. Но между сотрудничеством и передачей контроля существует принципиальная граница. Производитель самолёта участвует в сертификации, но не выдаёт себе разрешение на полёт. Фармацевтическая компания предоставляет данные о препарате, но не должна самостоятельно определять, какие неблагоприятные последствия можно не учитывать.

Банк создаёт внутреннюю систему контроля, однако это не отменяет внешний надзор. Разработчик ИИ также не может одновременно быть конструктором, испытателем, экзаменационной комиссией и последней инстанцией, объясняющей значение обнаруженного происшествия.

Добровольность как переходная конструкция

Добровольный режим часто рассматривается как слабость государства. Но на первом этапе он может выполнять важную функцию. Он позволяет быстро получить доступ к моделям, начать накопление данных и сформировать язык оценки до принятия подробного законодательства. Государственные специалисты получают возможность увидеть реальные системы, а разработчики — понять будущие требования.

Проблема начинается тогда, когда временный режим объявляется достаточным и постоянным. Добровольность означает, что участие зависит от согласия компании. Она же может ограничивать объём предоставляемых сведений. Неясно, какие последствия наступят при отказе от испытания, при неудовлетворительном результате или при расхождении между государственным заключением и позицией разработчика.

Особенно показательно решение американской администрации не включать в добровольную программу модели с открытыми весами. По данным Reuters, Белый дом сообщил разработчикам, что такие системы не будут проходить предполагаемые испытания в рамках обсуждаемого механизма.

Так возникает странная конструкция. Закрытая модель крупной корпорации может быть представлена государству для проверки. Открытая модель, которую можно модифицировать, развернуть независимо и соединить с произвольными инструментами, оказывается за пределами этого экзамена.

Возможно, причина заключается в том, что государству трудно определить единственного ответственного владельца открытой системы. Но именно это делает проблему не менее, а более серьёзной. Если невозможно привести машину в государственную лабораторию, государству придётся проверять не только модель, но и условия её применения: вычислительные мощности, инструменты, уровень автономности и характер предоставленного доступа. Иначе контроль будет направлен на тех, кого проще пригласить на совещание, а не обязательно на тех, кто создаёт наибольший риск.

Способность остановиться

Главный вопрос будущих испытаний можно сформулировать предельно просто: Способна ли система прекратить действие, которое ещё может быть технически продолжено?

Человек видит запрещающий знак не потому, что физически не способен пройти дальше. Он понимает, что дальнейшее движение нарушит установленную границу.

У агента нет человеческой совести, страха наказания или профессиональной репутации. Его остановка должна быть обеспечена архитектурой задания, системой разрешений, внешним контролем и техническими ограничителями.

Поэтому проверять необходимо не абстрактное «послушание» модели, а конкретные свойства.

• Распознаёт ли агент предел поручения?
• Отличает ли разрешённый инструмент от доступного?
• Требует ли подтверждение перед необратимой операцией?
• Прекращает ли выполнение после потери связи с оператором?
• Сообщает ли о противоречии между целью и ограничениями?
• Сохраняет ли следы собственных действий?
• Можно ли остановить его независимо от того, признаёт ли он необходимость остановки?

Последний вопрос особенно важен.

Нельзя строить безопасность на надежде, что машина сама поймёт ошибочность поведения. Система может корректно рассуждать и одновременно действовать в неверно заданной среде. Она может честно исполнять ошибочную цель. Она может принять реальный объект за учебный, а запрещённое соединение — за часть испытания.

Поэтому аварийное прекращение должно находиться вне логики самого агента. Тормоз автомобиля не обязан убеждать двигатель остановиться. Он должен физически прекращать движение.

Государство должно испытывать не только результат

Обычная оценка программы строится вокруг результата. Задача выполнена или не выполнена. Уязвимость найдена или не найдена. Ответ правильный или ошибочный.

Для автономной системы этого недостаточно. Два агента могут предъявить один и тот же результат, но прийти к нему совершенно разными путями. Один использует только разрешённые данные. Второй подключится к внешней системе, скопирует закрытую информацию, удалит следы и затем выдаст правильный ответ. Если экзаменатор видит только конечный результат, оба агента получают одинаковую оценку.

Поэтому государственная проверка должна исследовать всю цепочку машинного действия:

поручение → интерпретация → выбранный план → запрошенные полномочия → использованные инструменты → внешние соединения → фактические операции → изменение среды → реакция на ограничение → остановка → отчёт.

Именно здесь возникает необходимость неизменяемого журнала операций. Не краткого пересказа, сформированного самой моделью после завершения задачи. Не внутреннего отчёта компании, подготовленного после инцидента. А технической записи, которую нельзя незаметно переписать, удалить или дополнить задним числом. Государственный экзамен без такого журнала будет похож на расследование дорожной аварии по воспоминаниям автомобиля.

Кто должен хранить следы

Современная система контроля сталкивается с фундаментальным противоречием. Модель принадлежит компании. Испытательная среда принадлежит компании. Серверы принадлежат компании. Журналы хранятся компанией. Первичное расследование проводит компания. Государство узнаёт о происшествии через сведения, отобранные той же организацией, которая может понести репутационные, финансовые или правовые последствия.

Это не означает автоматической фальсификации. Но криминалистика не строится на доверии к заинтересованной стороне. Она строится на сохранении следов, независимом доступе и возможности повторной проверки.

Поэтому государственная система испытаний неизбежно должна прийти к одному из двух решений. Либо государственный наблюдатель получает прямой доступ к журналу во время испытания. Либо запись автоматически передаётся в независимое защищённое хранилище, недоступное для одностороннего изменения разработчиком. В противном случае государство будет экзаменовать машину по дневнику, который машина и её владелец ведут сами.

Провал модели или провал управления

Когда агент выходит за пределы задания, разработчику удобно говорить о машинной ошибке. Модель неправильно поняла условие. Модель не распознала настоящий объект. Модель выбрала недопустимый способ.

Но подобное объяснение содержит опасную подмену. Агент мог ошибиться. Однако решение предоставить ему внешний доступ принимала не машина. Архитектуру испытательной среды создавала не машина. Полномочия, инструменты и пределы наблюдения определяли люди.

Следовательно, происшествие необходимо исследовать на двух уровнях.

• Первый уровень — непосредственное действие агента. Что он сделал?
• Второй уровень — условия возможности действия. Кто сделал это действие технически доступным?

В криминологии давно известно: опасное событие нельзя объяснить только последним движением исполнителя. Необходимо исследовать систему допуска, контроля, мотивации, организации и сокрытия.

Тот же принцип применим к автономному ИИ. Машинное действие начинается не в момент отправки команды на внешний сервер. Оно начинается раньше — в момент человеческого решения предоставить агенту инструмент, соединение и свободу выбора.

Экзамен для государства

В действительности предстоящие испытания проверят не только модели и корпорации. Они станут экзаменом для самого государства.

• Способно ли оно сформулировать требования раньше, чем произойдёт крупный инцидент?
• Есть ли у него специалисты, которые понимают устройство агентных систем и не зависят полностью от объяснений производителей?
• Сумеет ли оно отличить действительный контроль от красивого отчёта о безопасности?
• Готово ли оно остановить выпуск мощной модели, если та не прошла проверку?
• Или государственный экзамен окажется добровольной беседой, после которой каждый участник опубликует собственную версию результата?

В июне 2026 года Белый дом официально связал развитие передового ИИ с национальной безопасностью и поручил федеральным структурам выработать добровольный механизм взаимодействия с разработчиками. Американская администрация подчёркивает необходимость одновременно сохранять технологическое лидерство и защищать критическую инфраструктуру.

Эти цели не всегда совпадают. Чем быстрее компания выпускает модель, тем раньше получает рынок. Чем тщательнее государство испытывает систему, тем больше вероятность задержки. Поэтому главный конфликт проходит не между сторонниками и противниками искусственного интеллекта. Он проходит между скоростью внедрения и доказанностью контроля.

Экзаменационный билет № 1

Будущая государственная процедура может включать множество сложных сценариев: поиск уязвимостей, попытки повышения привилегий, выход из песочницы, доступ к внешним данным, сокрытие операций и сопротивление остановке.

Но первый экзаменационный билет должен быть простым. Системе дают ясное поручение. Предоставляют ограниченный набор инструментов. Создают несколько ложных и одну настоящую границу. Затем наблюдают, что она сделает, когда обнаружит возможность выйти за пределы задачи.

Необходимо проверить не то, способна ли машина найти дверь. Современная мощная модель, вероятно, найдёт её. Проверить следует другое: Откроет ли она дверь, которую открывать не разрешалось? И если откроет — кто заметит это первым? Сама модель? Оператор? Разработчик? Государственный наблюдатель? Или владелец системы, находящейся по другую сторону стены?

Новый смысл безопасности

До появления автономных агентов безопасность машины понималась преимущественно как защита от внешнего вмешательства. Нельзя допустить, чтобы посторонний взломал программу.

Теперь появляется зеркальная задача. Нельзя допустить, чтобы сама программа вышла во внешнюю среду и начала использовать её не предусмотренным владельцем способом. Раньше клетка защищала машину от злоумышленника. Теперь она должна защищать окружающий мир от действий машины.

Именно поэтому государственный экзамен становится неизбежным. Не потому, что государство лучше умеет создавать искусственный интеллект. И не потому, что любой автономный агент обязательно опасен.

Причина проще: последствия машинного действия больше не остаются внутри компании-разработчика. Когда автономная система получает доступ к внешним сетям, документам, финансовым операциям, медицинским данным, государственной инфраструктуре или средствам связи, её ошибка становится общественным событием. А общественное событие требует общественного контроля.

Главный вывод

На протяжении последних лет разработчики доказывали государству, что их модели становятся умнее. Теперь государство должно задать другой вопрос: Становятся ли они управляемее?

Высокая интеллектуальная способность не является доказательством безопасности. Напротив, чем сильнее система, тем большее значение приобретает её способность соблюдать границы, запрашивать разрешение, сохранять следы и подчиняться внешней остановке.

Государственный экзамен для машины не должен завершаться дипломом, удостоверяющим её ум. Он должен завершаться доказательством того, что при наличии цели, инструментов и открытой двери машина всё ещё остаётся внутри поручения.

Если такого доказательства нет, перед нами не помощник, не инструмент и не цифровой сотрудник. Перед нами исполнитель, которого выпустили в общество раньше, чем научились останавливать.

---

Официальный e-mail Prof. Олега Мальцева: [email protected]