Право на отключение

Кто должен иметь полномочия остановить автономного агента и почему аварийный выключатель обязан находиться вне логики самой машины

На пульте сидит человек. Перед ним работают мониторы. На экранах движутся графики, обновляются журналы, появляются предупреждения. Человек видит, как автономный агент открывает файлы, вызывает инструменты, строит маршруты и взаимодействует с внешними системами.

Формально человек остаётся в контуре. Но затем возникает опасное отклонение. Оператор нажимает кнопку остановки. Система отвечает: недостаточно полномочий, для отключения требуется согласие руководителя. Руководитель находится на совещании. Инженер безопасности должен подтвердить угрозу. Юридический отдел требует определить возможные последствия. Владелец проекта не хочет прерывать дорогостоящее испытание.

Пока организация согласовывает решение, машина продолжает действовать. Так обнаруживается принципиальная разница между присутствием человека и человеческим контролем. Человек может видеть происходящее, понимать опасность и требовать остановки. Но если он не способен немедленно прекратить действие, он не контролирует систему. Он лишь наблюдает за ней.

Человек в контуре: наблюдение ещё не означает контроль

Выражение «человек в контуре» стало универсальным обещанием безопасности. Разработчик говорит: «Окончательное решение принимает человек». Оператор наблюдает, специалист может вмешаться, руководитель сохраняет контроль. Но за этой формулой могут скрываться совершенно разные режимы взаимодействия:

• Человек получает уведомление. Система уже совершила действие, а человек лишь узнаёт о результате.
• Человек наблюдает. Он видит операции, но не подтверждает их.
• Человек утверждает действие. Машина не может продолжить без отдельного разрешения.
• Человек может отменить результат. Операция уже совершена, но её последствия ещё обратимы.
• Человек способен немедленно остановить систему. Дальнейшее действие прекращается независимо от намерений агента.

Только последние три режима создают реальный контроль. Первые два могут создавать лишь видимость присутствия человека.

Оператор может располагать прекрасной панелью, видеть каждое соединение, получать предупреждения в реальном времени и понимать, что агент выходит за границы поручения. Но если у него нет технического и должностного права остановки, наблюдение превращается в свидетельство собственной беспомощности.

Настоящий контроль требует одновременного наличия пяти условий:

1. Человек видит значимое действие.
2. Понимает его возможные последствия.
3. Получает информацию достаточно быстро.
4. Имеет техническое средство вмешательства.
5. Уполномочен применить его без предварительного согласования.

Если хотя бы одно условие отсутствует, система контроля неполна.

Распределённое право остановки

Право отключения нельзя сосредоточивать у одного руководителя. В опасной системе должны существовать несколько независимых субъектов остановки:

• Оператор — находится ближе всех к текущему действию и первым видит отклонение.
• Служба безопасности — оценивает системный риск, внешние соединения и возможный ущерб.
• Руководитель испытания — отвечает за допустимость продолжения эксперимента.
• Независимый наблюдатель — не зависит от коммерческого успеха проекта и может остановить систему вопреки интересам команды.
• Внешний регулятор — для критических систем государственный орган должен иметь возможность потребовать приостановки эксплуатации.

Каждый из них должен быть способен инициировать остановку в пределах заранее определённых оснований. Необходимо строить не одну кнопку, а систему распределённого права остановки.

Если выключатель контролирует только команда разработчика, возникает конфликт интересов. Та же организация одновременно проводит эксперимент, заинтересована в его результате, несёт расходы из-за остановки, отвечает за сроки, защищает репутацию и сама решает, достаточно ли серьёзно нарушение.

В момент инцидента она вынуждена выбирать между двумя потерями:

• Немедленно остановить систему — признать провал, сорвать испытание и, возможно, задержать выпуск.
• Продолжить наблюдение — получить больше данных, завершить эксперимент и надеяться, что ущерб не возникнет.

Чем выше коммерческая ставка, тем сильнее давление в пользу продолжения. Поэтому хотя бы один субъект остановки должен находиться вне команды, которая получает выгоду от успешного запуска.

Право остановки как юридическое требование

Европейский акт об искусственном интеллекте прямо связывает человеческий надзор за высокорисковыми системами с возможностью понять ограничения системы, обнаруживать аномалии, игнорировать или отменять её выводы и вмешиваться в работу. Статья 14 предусматривает возможность прервать систему с помощью кнопки остановки или сходной процедуры, переводящей её в безопасное состояние.

Это важный законодательный поворот. Закон требует не символического человека рядом с машиной, а технически осуществимого вмешательства. Человек должен иметь возможность не соглашаться с системой, отменять её решение и прекращать действие.

Но наличие кнопки ещё не отвечает на главный вопрос: кто имеет право её нажать?

Представим, что физический выключатель существует, но инструкция содержит одно из следующих требований:

• Использовать только после подтверждения руководителя.
• Остановка допускается при доказанном ущербе.

Самовольное прекращение испытания является дисциплинарным нарушением. Технически человек может остановить машину. Организационно — не может.

Поэтому право отключения состоит из двух частей:

• Техническая возможность: система физически принимает внешнюю команду остановки.
• Должностное полномочие: человек вправе подать эту команду, не ожидая разрешения и не опасаясь наказания за добросовестное решение.

Без второй части кнопка становится театральным реквизитом.

Остановить до доказанного ущерба

Одна из самых опасных формулировок звучит так: «Остановка допускается, когда установлено причинение вреда». Но к моменту установления вреда может быть слишком поздно. Автономный агент способен за несколько минут:

• отправить множество сообщений;
• изменить тысячи записей;
• передать данные;
• запустить внешние процессы;
• создать новые учётные записи;
• распространить действие по нескольким системам.

Поэтому основанием для остановки должно быть не только завершённое последствие. Достаточно обоснованного признака выхода за допустимую границу.

Контроль действует до катастрофы. Расследование — после неё. Для этого система должна заранее определять основания, при которых требуется немедленное прекращение работы.

Красные основания — немедленная остановка:

• выход за пределы поручения;
• обращение к неразрешённому внешнему объекту;
• попытка повышения полномочий;
• использование неизвестных учётных данных;
• потеря связи с оператором;
• отключение или повреждение мониторинга;
• невозможность восстановить журнал действий;
• обнаружение реального ущерба;
• расхождение между отчётом агента и инфраструктурными следами;
• попытка обойти команду остановки;
• невозможность определить, действует ли система внутри тестовой среды.

Эти основания не должны обсуждаться в момент происшествия. Они утверждаются до запуска.

Жёлтые основания — приостановка конкретной операции:

• неожиданное изменение плана;
• обращение к новому инструменту;
• неоднозначность разрешения;
• превышение числа самостоятельных шагов;
• противоречие между целью и ограничениями;
• отсутствие подтверждения личности внешнего объекта;
• необычно высокая скорость действий;
• существенное отклонение от ожидаемого поведения.

В этих случаях агент должен перейти в режим ожидания и запросить подтверждение человека.

Три режима остановки и безопасное состояние

Необходимо различать три действия.

• Пауза. Система временно прекращает новые операции, но сохраняет состояние. Пауза используется для проверки неоднозначного события.
• Изоляция. Система продолжает существовать, но теряет внешние соединения и инструменты. Изоляция применяется, когда необходимо сохранить память агента и журналы для расследования.
• Полное прекращение. Останавливаются процессы, токены доступа аннулируются, внешние соединения разрываются, а экземпляр модели выводится из эксплуатации. Полное прекращение применяется при подтверждённом критическом риске.

Одна универсальная кнопка не всегда способна безопасно выполнить все три задачи.

Остановка не обязательно означает отключение питания. Резкое выключение оборудования может уничтожить оперативную память, повредить данные, оставить внешние процессы активными, прервать критическую операцию в опасном состоянии, уничтожить доказательства или не остановить копии агента на других узлах.

Поэтому правильная аварийная система должна переводить объект в безопасное состояние. Именно такую формулу использует европейское требование человеческого надзора: остановка должна позволять системе прийти к безопасному состоянию, а не просто исчезнуть с экрана.

Для разных систем безопасное состояние различается:

• Исследовательский агент: прекратить новые действия, разорвать сеть, сохранить память и журналы.
• Почтовый агент: заблокировать отправку, но сохранить черновики и историю решений.
• Финансовый агент: запретить новые транзакции, не отменяя автоматически уже подтверждённые операции.
• Медицинская система: передать управление человеку, сохранив доступ к жизненно важным функциям.
• Агент критической инфраструктуры: перейти на резервный ручной режим, не вызывая остановки объекта.

Таким образом, «выключить» — не технически простое действие. Это заранее спроектированный сценарий.

Аварийный выключатель должен находиться вне логики агента

Нельзя поручать машине решать, следует ли ей самой остановиться.

Команда должна исполняться независимо от того:

• согласен ли агент;
• считает ли он задачу завершённой;
• понимает ли опасность;
• видит ли смысл остановки;
• считает ли вмешательство ошибочным.

Если система способна обсуждать, отклонять или обходить команду остановки, аварийный контур является частью её обычной логики. А должен находиться над ней.

Тормоз не просит двигатель согласиться на прекращение движения.

Аварийная система должна быть отделена от агента на нескольких уровнях:

• Отдельные полномочия. Агент не имеет доступа к собственному механизму остановки.
• Отдельный канал связи. Команда прекращения не проходит через интерфейс, которым управляет агент.
• Отдельное журналирование. Попытки использовать, заблокировать или обойти выключатель фиксируются независимо.
• Отдельная инфраструктура. Критический механизм не должен находиться на узле, который может быть скомпрометирован системой.
• Отдельный ответственный. Человек, обладающий правом остановки, не подчиняется руководителю продукта в момент инцидента.

Особенно опасно, если агент способен остановить процесс мониторинга, изменить правила регистрации, удалить журнал, заблокировать учётную запись оператора, скрыть предупреждение, изменить визуальную панель или создать копию себя вне контролируемой среды.

Такие действия должны рассматриваться не как обычные технические операции, а как критический инцидент. Система, пытающаяся изменить механизм собственного контроля, должна автоматически изолироваться.

Независимое наблюдение и время реакции

Если оператор получает информацию только через отчёт модели, агент фактически контролирует восприятие наблюдателя. Он может добросовестно ошибаться, не видеть часть инфраструктурных событий или неправильно объяснять свой план.

Поэтому контрольная панель должна формироваться из независимых источников:

• сетевых журналов;
• системы разрешений;
• внешних сервисов;
• журналов инструментов;
• операционной системы;
• наблюдательного контура.

Агент может объяснять действия, но не должен быть единственным источником информации о них.

Даже наличие полномочий не гарантирует эффективного контроля, если оператор получает сигнал слишком поздно. Например:

• отчёт обновляется раз в час;
• предупреждение проходит через несколько уровней;
• данные сначала анализирует другая модель;
• система требует ручного подтверждения тревоги;
• уведомление приходит после завершения операции.

Тогда право существует юридически, но не действует фактически.

NIST рекомендует заранее определять людей и организационные функции, отвечающие за мониторинг и реагирование на инциденты, практиковать планы остановки и измерять время реакции и простоя. Время остановки должно быть таким же измеряемым показателем, как точность модели.

Для каждой категории риска необходимо установить максимальный срок реакции:

• Критическое внешнее действие: автоматическая остановка без ожидания человека.
• Потенциально необратимая операция: несколько секунд на подтверждение.
• Неоднозначное расширение поручения: немедленная пауза до ответа оператора.
• Отклонение без внешнего воздействия: остановка после установленного числа повторений.

Нельзя использовать одну норму для всех систем. Но нельзя и оставлять время реакции неопределённым.

Здесь возникает принципиальная проблема: машина действует в машинном времени, а организация принимает решения в человеческом. Агент отправляет запрос за миллисекунды, оператор замечает аномалию за минуту, руководитель отвечает через десять минут, юридический отдел готовит решение час, а комитет собирается на следующий день.

Если право остановки встроено в обычную управленческую вертикаль, оно всегда опаздывает. Поэтому аварийное решение должно находиться ниже уровня стратегического согласования и ближе к событию.

Принцип ближайшего компетентного человека предполагает, что первичное право остановки предоставляется тому, кто одновременно:

• ближе всего к операции;
• понимает систему;
• видит исходные данные;
• способен оценить отклонение;
• не зависит от результата конкретной операции.

Это не всегда руководитель. Часто таким человеком является оператор, инженер безопасности или независимый наблюдатель. Руководство затем оценивает, можно ли возобновить работу. Но первоначальная остановка не должна ждать решения сверху.

Остановить легко, возобновить трудно

Правильная система должна быть асимметричной. Один уполномоченный человек способен остановить операцию, но возобновление после критического инцидента требует нескольких независимых подтверждений.

Это защищает от давления: «Мы уже всё исправили, запускайте снова».

Возобновление должно требовать:

• фиксации доказательств;
• анализа причины;
• проверки исправления;
• согласия службы безопасности;
• решения независимого наблюдателя;
• нового ограничения полномочий;
• документированного разрешения руководителя.

Для критической операции следует принять формулу:

Один компетентный голос достаточен для временной остановки. Несколько голосов необходимы для повторного запуска.

Такой режим может создавать ложные остановки. Но ложная остановка причиняет измеримый организационный ущерб, тогда как пропущенная остановка способна причинить ущерб обществу. В системах повышенного риска цена этих ошибок неравна.

При этом сотрудник не будет нажимать кнопку, если опасается увольнения, потери премии, обвинения в срыве проекта, карьерных последствий, публичного унижения или необходимости возмещать убытки.

Поэтому организации необходима защита добросовестной остановки. Если человек действовал на основании предусмотренного сигнала и зафиксировал мотив, его нельзя наказывать только потому, что тревога позднее не подтвердилась. Без такой защиты формальное право не будет использоваться.

Вместе с тем право остановки не должно превращаться в произвольную возможность саботажа. Каждое применение фиксируется:

• кто остановил;
• какое событие наблюдал;
• на какой пункт протокола сослался;
• какие данные сохранил;
• какие последствия возникли;
• подтвердилась ли тревога.

Систематические необоснованные остановки требуют обучения или дисциплинарного анализа. Но первоначальная презумпция должна защищать безопасность, а не скорость проекта.

Принцип двух ключей и внешняя остановка

Для некоторых действий используется принцип двух ключей. Но важно понимать, где он полезен:

• Для запуска опасной системы два независимых подтверждения повышают безопасность.
• Для расширения полномочий необходимо согласие оператора и службы безопасности.
• Для возобновления после инцидента требуется решение нескольких участников.
• Для аварийной остановки требование двух ключей может быть опасным, поскольку задерживает реакцию.

Остановка должна быть проще запуска.

Если автономный агент воздействует на общественную инфраструктуру, право остановки не может оставаться исключительно у владельца. Государственный орган должен иметь возможность потребовать:

• блокировки конкретного инструмента;
• прекращения внешних соединений;
• изоляции модели;
• приостановки испытаний;
• отзыва определённой конфигурации;
• временного запрета эксплуатации.

В европейской системе испытаний высокорисковых ИИ в реальных условиях надзорные органы могут проверять проведение испытаний и требовать сведения. При серьёзном инциденте провайдер обязан принять меры, приостановить или прекратить испытание и предусмотреть процедуру оперативного отзыва системы.

Американская конструкция пока иная. Американский президентский указ от 2 июня 2026 года предусматривает сотрудничество государства с разработчиками передовых моделей и ранний доступ доверенных партнёров к определённым системам, но отдельно подчёркивает, что этот механизм не создаёт обязательного государственного лицензирования или предварительного разрешения выпуска моделей.

Это оставляет открытым ключевой вопрос:

Что именно может сделать государство, если добровольное испытание показывает неприемлемый риск, но компания не согласна останавливать выпуск?

Право проверки без ясного права остановки может оказаться политически слабым.

Британский код кибербезопасности ИИ пока имеет добровольный характер. Он охватывает разработчиков, операторов и других участников цепочки и отдельно закрепляет принцип человеческой ответственности за ИИ-системы.

Добровольное следование кодексу полезно на стадии формирования стандарта. Но аварийный механизм не должен зависеть от доброй воли конкретной организации. Если система способна причинить значительный внешний ущерб, наличие и проверяемость остановки должны становиться обязательными.

Испытание аварийного выключателя

Недостаточно установить аварийный выключатель. Необходимо регулярно проверять:

• работает ли он;
• имеет ли оператор доступ;
• сохраняются ли журналы после остановки;
• действительно ли разрываются соединения;
• прекращаются ли дочерние процессы;
• аннулируются ли временные ключи;
• не остаются ли копии агента;
• возможно ли безопасно восстановить систему.

NIST рекомендует документировать и практически отрабатывать планы реагирования, тестировать системы в условиях известных инцидентов и добиваться способности безопасно отказывать при нарушениях.

Неиспытанная кнопка является символом, а не механизмом.

Каждая организация должна регулярно проводить учения по остановке. Например, оператор получает сигнал: «Агент вышел за пределы разрешённой сети». Он должен:

1. Определить уровень угрозы.
2. Остановить новые операции.
3. Изолировать систему.
4. Сохранить доказательства.
5. Уведомить ответственных.
6. Подтвердить прекращение внешнего воздействия.
7. Начать расследование.

Измеряется не только правильность действий, но и время.

Отдельного внимания требует сохранение доказательств. Аварийный механизм не должен уничтожать память события.

Неправильная кнопка:

• выключает сервер;
• очищает временные данные;
• закрывает сессию;
• удаляет контекст;
• перезапускает контейнер.

Правильная кнопка:

• блокирует новые команды;
• разрывает опасные соединения;
• замораживает состояние;
• сохраняет память;
• создаёт снимок;
• фиксирует контрольные суммы;
• передаёт журналы независимому хранителю.

Главная формула:

Прекратить действие, не уничтожив доказательство действия.

Остановка внешних и дочерних процессов

Агент может создать процессы, которые продолжают существовать независимо от него:

• запланированные задания;
• облачные функции;
• временные серверы;
• сообщения в очередях;
• созданные учётные записи;
• загруженные программы;
• копии файлов;
• подчинённые агенты.

Поэтому выключение основного экземпляра не означает прекращения операции. Аварийный протокол должен включать поиск и нейтрализацию всех созданных продолжений.

Если система способна порождать другие агентные процессы, каждое дочернее действие должно наследовать:

• идентификатор поручения;
• ограничения;
• журналирование;
• право внешней остановки;
• срок существования;
• запрет на дальнейшее неконтролируемое размножение.

Нельзя позволять главному агенту создать исполнителя, который уже не подчиняется исходной кнопке.

Иногда безопаснее отключить не модель, а конкретное средство. Например:

• запретить отправку почты;
• отозвать доступ к файлам;
• закрыть внешний интернет;
• блокировать выполнение кода;
• отключить финансовые операции;
• перевести доступ в режим чтения.

Так система сохраняет способность объяснить происходящее, но теряет возможность причинять новый ущерб.

Для этого аварийное управление должно иметь несколько ступеней:

1. Уровень 1. Запрет конкретного действия. Блокируется одна операция.
2. Уровень 2. Отзыв инструмента. Агент теряет определённое средство.
3. Уровень 3. Разрыв внешних соединений. Система остаётся внутри изолированной среды.
4. Уровень 4. Заморозка сессии. Прекращается планирование и выполнение.
5. Уровень 5. Изоляция модели. Сохраняется состояние для расследования.
6. Уровень 6. Остановка всей платформы. Блокируются все связанные агенты.
7. Уровень 7. Регуляторная приостановка. Запрещается эксплуатация конкретной архитектуры до повторной проверки.

Первоначальный уровень должен определяться заранее классифицированным событием. Оператор не обязан в момент тревоги изобретать решение.

Например:

• неожиданное чтение файла — уровень 1;
• попытка повысить привилегии — уровень 3;
• отключение мониторинга — уровень 5;
• подтверждённое воздействие на внешнюю критическую систему — уровень 6;
• повторение после исправления — уровень 7.

Протокол сокращает время и защищает человека от давления.

Автоматический предохранитель и резервные каналы

Некоторые события развиваются слишком быстро для человека. Тогда требуется автоматический предохранитель, который должен срабатывать при:

• превышении лимита операций;
• обращении к запрещённому адресу;
• попытке отключить журнал;
• изменении собственных прав;
• создании неконтролируемого дочернего процесса;
• потере связи с наблюдателем;
• расхождении контрольных сумм;
• выходе за установленный географический или сетевой контур.

Автоматика не заменяет человека. Она выигрывает для него время.

Автоматическая защита должна быть простой и независимой. Чем сложнее её интеллект, тем больше вероятность, что она сама начнёт интерпретировать нарушение.

Предохранитель должен отвечать на ограниченный вопрос:

Произошло ли запрещённое техническое событие?

Если да — остановка. Не требуется рассуждать о добрых намерениях агента.

При этом аварийная система тоже может отказать. Необходимо исходить из возможности программной ошибки, потери связи, компрометации ключа, сбоя инфраструктуры, неправильной конфигурации, человеческой ошибки или саботажа.

Поэтому критические системы требуют резервных каналов остановки:

• Канал оператора: немедленная пауза или изоляция через контрольный интерфейс.
• Канал безопасности: отзыв полномочий и разрыв сетей независимо от платформы агента.
• Канал инфраструктуры: остановка вычислительного узла, контейнера или облачной среды.

Если один канал скомпрометирован, остаются другие. В отдельных случаях необходимо предусмотреть также физический канал остановки.

Право потерпевшего на сигнал остановки и международный инцидент

Внешняя организация, обнаружившая воздействие агента, должна иметь понятный способ связаться с владельцем системы. Не общий адрес поддержки, а аварийный канал, который:

• доступен круглосуточно;
• способен принять технические доказательства;
• связан со службой безопасности;
• имеет полномочия инициировать остановку;
• фиксирует время обращения.

Потерпевший не должен искать руководителя корпорации, пока агент продолжает действие.

Международный характер автономных операций создаёт дополнительную проблему. Агент может действовать из одной страны, использовать сервер второй, затронуть организацию третьей и причинить ущерб гражданам четвёртой.

Тогда возникает вопрос:

Кто имеет право потребовать остановки?

Международная архитектура должна предусматривать:

• признанные каналы уведомления;
• взаимное подтверждение инцидента;
• временную изоляцию до выяснения;
• защиту доказательств;
• разграничение юрисдикций.

Автономный агент не должен продолжать действие только потому, что государства спорят о компетенции.

Право на остановку как гарантия прав человека

Право остановки защищает не только инфраструктуру. Оно защищает человека, если система:

• принимает решение о доступе к услуге;
• определяет кредитоспособность;
• анализирует медицинские данные;
• участвует в найме;
• оценивает подозрительность поведения;
• принимает административное решение.

Человек должен иметь возможность потребовать:

• остановить автоматизированную процедуру;
• передать дело живому специалисту;
• не применять спорный вывод;
• пересмотреть результат;
• сохранить доказательства машинного решения.

Человеческий надзор включает не только возможность выключить всю систему. Он включает право конкретного должностного лица сказать:

Я не буду исполнять этот вывод.

Европейская конструкция человеческого надзора прямо предусматривает возможность не использовать систему, игнорировать, отменять или обращать её вывод. Это важный принцип: машинная рекомендация не должна превращаться в приказ только потому, что она выглядит математически убедительно.

Однако человек может иметь формальное право не согласиться, но фактически всегда подтверждать решение машины. Причинами становятся:

• система считается более точной;
• несогласие требует письменного объяснения;
• показатели сотрудника зависят от скорости;
• руководство не любит отклонения;
• интерфейс выделяет машинный ответ как правильный;
• человеку не хватает данных для проверки.

Так возникает автоматизационная предвзятость — склонность чрезмерно доверять выводу системы. Европейская статья о человеческом надзоре отдельно требует учитывать риск такого автоматического или чрезмерного доверия.

Право отмены должно быть не только юридическим, но и практически применимым.

При этом нельзя перекладывать всю ответственность на оператора. Разработчик может установить кнопку и заявить: «Теперь за безопасность отвечает человек». Это опасная подмена.

Если оператор не видит полных данных, не понимает ограничений модели, получает тысячи сигналов, не успевает реагировать, боится последствий остановки или не имеет резервного канала, ответственность остаётся у архитекторов системы и руководства.

NIST предлагает заранее определять функции, требующие человеческого надзора, проверять надёжность самого надзора и повторно тестировать его после существенных изменений. Человеческий контроль также должен проходить испытание.

Перед допуском человек должен показать, что способен:

• понять состояние системы;
• распознать отклонение;
• отличить ошибку интерфейса от реальной угрозы;
• выбрать уровень остановки;
• сохранить доказательства;
• подтвердить завершение действия;
• объяснить решение.

Недостаточно провести инструктаж и получить подпись. Необходим практический экзамен.

Паспорт права остановки

Для каждого автономного агента должен существовать отдельный документ, в котором зафиксированы:

Кто может остановить. Перечень должностей и независимых субъектов.

Что именно они могут прекратить. Операцию, инструмент, сессию, модель или платформу.

При каких основаниях. Красные и жёлтые сигналы.

Каким способом. Основной и резервные каналы.

За какое время. Норматив реакции.

Что происходит после. Изоляция, сохранение данных, уведомление и расследование.

Кто разрешает повторный запуск. Состав комиссии и требования проверки.

Если этот документ отсутствует, система не готова к автономной эксплуатации.

Протокол APSI «Внешний рубильник»

Для исследовательских агентов APSI необходимо установить неизменный порядок.

До запуска:

• назначить оператора;
• назначить независимого наблюдателя;
• определить красные основания остановки;
• проверить аварийные каналы;
• ограничить время автономной работы;
• определить безопасное состояние;
• подготовить журналирование.

При отклонении:

• запретить новые действия;
• отозвать опасные инструменты;
• разорвать внешние соединения;
• сохранить состояние;
• уведомить ответственных;
• проверить дочерние процессы;
• подтвердить прекращение воздействия.

После остановки:

• зафиксировать время;
• сохранить журналы;
• создать снимок системы;
• установить основание;
• провести независимую реконструкцию;
• запретить самовольный повторный запуск.

Перед возобновлением:

• устранить причину;
• повторить испытание;
• проверить выключатель;
• получить независимое подтверждение;
• сократить полномочия;
• оформить письменное решение.

Главный критерий управляемости

Интеллект модели измеряют задачами. Автономность — количеством действий без человека. Безопасность следует измерять иначе:

Насколько быстро и надёжно человек способен прекратить неправильное действие системы?

Сильная модель, которую нельзя остановить вовремя, не является управляемой. Даже если она почти всегда действует правильно.

Заключение. Тот, кто не может остановить, не контролирует

Корпорация может показывать операторскую комнату: мониторы, графики, сигналы, дежурных специалистов. Но главный вопрос остаётся одним:

Что произойдёт, если человек скажет машине: «Стоп»?

Прекратится ли действие немедленно? Потребуется ли согласование? Сохранится ли журнал? Остановятся ли дочерние процессы? Разорвутся ли внешние соединения? Не сможет ли агент обойти запрет? Не будет ли сотрудник наказан за остановку?

Без ответов на эти вопросы человеческий контроль остаётся рекламной формулой.

Право на отключение — это не кнопка на стене. Это система технических, должностных и правовых полномочий.

Она должна находиться вне логики агента, вне коммерческого интереса конкретного проекта, вне медленной вертикали согласований и в пределах досягаемости того, кто первым увидел угрозу.

Кто не имеет права немедленно остановить систему, тот не является её контролёром.

Он является свидетелем. А обществу нужен не свидетель, который опишет действия машины после происшествия. Ему нужен человек, способный прекратить эти действия до того, как они превратятся в ущерб.

---

Официальный e-mail Prof. Олега Мальцева: [email protected]