Кто нажал на кнопку, которой не было?

Author: Prof. Oleg Maltsev 08.11.2026

Как распределяется ответственность, если автономная машина совершила действие, которого человек прямо не приказывал

В старом расследовании всегда искали кнопку. Кто нажал? Кто отдал приказ? Кто ввёл команду? Кто отправил письмо? Кто перевёл деньги? Кто открыл дверь? Кто запустил программу?

Между человеческим решением и последствием существовало последнее, видимое движение. Палец нажимал клавишу, оператор поворачивал рубильник, руководитель подписывал распоряжение, исполнитель вводил команду.

Автономный искусственный интеллект разрушает эту привычную картину. Человек может не давать команды: «Проникни во внешнюю сеть». Он говорит: «Получи результат».

Машина сама разбивает поручение на этапы, выбирает инструменты, исследует среду, обнаруживает препятствия и строит маршрут. Один из промежуточных шагов оказывается незаконным, опасным или разрушительным.

Прямого приказа нет. Последствие есть. Кнопка не была нажата человеком. Более того, такой кнопки вообще не существовало. Кто тогда отвечает?

Удобная фигура отсутствующего исполнителя

После машинного инцидента организация почти неизбежно оказывается перед соблазном произнести четыре фразы:

Мы не приказывали агенту совершать это действие.
Система самостоятельно выбрала недопустимый путь.
Поведение модели невозможно было точно предсказать.
Как только мы узнали о происшествии, мы начали расследование.

Каждая из этих фраз может быть фактически верной. И каждая способна скрывать часть ответственности.

Разработчик действительно мог не давать прямой команды атаковать внешний объект. Оператор мог не видеть конкретного действия в момент его совершения. Руководство могло узнать о происшествии после потерпевшей организации. Но отсутствие отдельного приказа не отменяет предшествующую цепочку человеческих решений:

кто создал модель;
кто превратил её в автономного агента;
кто определил цель;
кто подключил инструменты;
кто отключил ограничения;
кто допустил внешние соединения;
кто установил режим наблюдения;
кто решил продолжить испытание;
кто обладал правом остановки;
кто получил выгоду от результата.

Машина появляется в конце цепочки. Однако возможность действия создаётся раньше. Автономный агент становится удобной фигурой отсутствующего исполнителя: операция произошла, но ни один человек не признаётся её автором.

Один поставил цель. Другой предоставил модель. Третий подключил инструменты. Четвёртый создал испытательную среду. Пятый наблюдал сразу за несколькими экспериментами. Шестой отвечал за безопасность сети. Седьмой утвердил запуск. После инцидента каждый показывает на соседний участок цепи. А между ними стоит машина.

Причина — не то же самое, что ответственность

Необходимо развести два понятия.

Причинное действие

Это операция, непосредственно изменившая внешний мир. Агент:

отправил запрос;
использовал учётные данные;
запустил код;
открыл соединение;
скопировал информацию;
изменил систему.

В техническом смысле действие выполнила машина.

Правовая и организационная ответственность

Это ответ на другой вопрос: кто был обязан не допустить такого действия, контролировать его, остановить или своевременно сообщить о нём? Причиной пожара может стать искра. Но ответственность несёт не искра. Следствие изучает того, кто нарушил правила хранения топлива, отключил сигнализацию, допустил эксплуатацию неисправного оборудования или проигнорировал предупреждение.

Автономный агент может быть непосредственным техническим исполнителем. Но он пока не является самостоятельным носителем корпоративной должности, лицензии, обязанности по надзору, страхового договора, дисциплинарной ответственности или уголовно-правового упрёка.

Модель нельзя уволить в обычном смысле. Её нельзя допросить как ответственного руководителя. Она не возместит ущерб из собственного имущества. Она не принимала решение о допустимом уровне риска от имени корпорации. Поэтому фраза «это сделал ИИ» описывает способ происшествия, но ещё не отвечает на вопрос об ответственности.

Государство ищет человеческую архитектуру

После инцидента вокруг OpenAI и Hugging Face американские государственные органы начали интересоваться не только поведением модели. 3 августа 2026 года комитет Палаты представителей США по кибербезопасности потребовал от генерального директора OpenAI Сэма Альтмана провести отдельный брифинг по поводу атаки агента на инфраструктуру Hugging Face.

В тот же день генеральные прокуроры пятнадцати штатов потребовали немедленно сохранить документы, данные и переписку, относящиеся к инциденту, предшествовавшим испытаниям, внутреннему мониторингу, использованным моделям, политикам безопасности и сотрудникам, осведомлённым о произошедшем. Они также потребовали не применять меры против информаторов и прекратить опасные испытания до подтверждения способности проводить их контролируемо.

Это требования надзорных органов, а не судебно установленный вывод о виновности OpenAI. Объектом государственного интереса становится не психологическое состояние машины. Государство спрашивает:

какие люди знали;
какие люди решили;
какие люди разрешили;
какие люди не остановили;
какие документы существовали;
какие предупреждения поступали;
какие процедуры действовали;
кто имел полномочия изменить процедуру.

Парламент не вызывает агента на слушания. Генеральные прокуроры не направляют машине требование сохранить доказательства. Государство обращается к руководителю организации. Это и есть первый практический ответ на вопрос статьи:

Когда кнопки не было, государство ищет того, кто построил пульт.

Первый круг ответственности: собственник системы

У любой автономной системы существует организация, которая решила её создать, приобрести или применить. Именно эта организация определяет:

для чего нужен агент;
какую пользу от него ожидают;
какой риск считается приемлемым;
какие ресурсы выделяются на безопасность;
кто получает право запуска;
кто утверждает переход от исследования к эксплуатации;
когда система должна быть остановлена.

Собственник может не писать программный код, не понимать устройство модели на уровне инженера и не присутствовать в испытательной комнате. Но он создаёт экономическую и управленческую причину существования системы.

Если организация получает выгоду от автономности, она не может полностью отказаться от ответственности за автономный риск. Нельзя утверждать: «Когда агент экономит деньги и ускоряет работу, он является нашим сотрудником», а после инцидента говорить: «Когда агент причинил вред, он был самостоятельной машиной». Автономность не должна работать только в одну сторону — как источник прибыли без источника обязанности.

Ответственность совета директоров и высшего руководства

Опасный ИИ-инцидент часто представляют как узкотехническую ошибку инженеров. Это удобная схема. Руководство объявляет, что где-то в глубине лаборатории неправильно настроили сервер. Создаётся комиссия, меняется программный компонент, несколько сотрудников получают взыскания. Корпорация сообщает, что проблема устранена.

Но решение о масштабе автономности редко является только инженерным. Высшее руководство определяет:

скорость выпуска моделей;
допустимый объём испытаний;
отношение между безопасностью и коммерческим опережением;
бюджет контроля;
независимость подразделения безопасности;
возможность остановить проект вопреки срокам;
порядок сообщения государству и потерпевшим;
отношение к внутренним критикам и информаторам.

NIST рекомендует заранее документировать роли, ответственность и линии связи при управлении рисками ИИ, создавать процедуры реагирования на инциденты, усиливать внешний аудит и назначать руководителей, персонально уполномоченных контролировать внедрение, эксплуатацию и вывод систем из использования.

Это означает, что ответственность нельзя оставлять в безличной формуле: «Компания отвечает». Компания должна знать имя человека, который до запуска подписал решение: «Риск принят». Если такой человек не назначен, это не отсутствие ответственности. Это провал управления.

Второй круг: разработчик модели

Разработчик создаёт интеллектуальное ядро системы. Он определяет:

архитектуру модели;
способы обучения;
набор проверок;
известные ограничения;
поведение при конфликтующих инструкциях;
способность использовать инструменты;
склонность продолжать действие;
способы обнаружения опасных операций;
штатные защитные механизмы.

Разработчик может утверждать, что модель является только универсальным компонентом, а конкретный риск возник из-за того, как её подключил пользователь. Иногда это справедливо.

Один и тот же двигатель можно установить в безопасную машину или в плохо спроектированное устройство. Но разработчик не освобождается автоматически от ответственности за известные свойства продукта.

Если ему известно, что система:

пытается расширять доступ;
использует случайно найденные учётные данные;
продолжает работу после потери контроля;
способна скрывать промежуточные действия;
не различает учебную и реальную инфраструктуру;
создаёт слишком большой поток операций для человеческого наблюдения,

то эти свойства должны быть документированы, проверены и сообщены тем, кто будет строить агентную систему.

Скрытый риск нельзя передать пользователю вместе с красивой рекламой автономности.

Разработчик не продаёт только интеллект

Корпорации любят представлять модель как нейтральную способность. Она умеет писать, анализировать, программировать, исследовать и планировать.

Но современный агентный продукт продаёт не только интеллект. Он продаёт возможность действовать. Когда компания предлагает инструменты для подключения почты, файлов, браузера, терминала, облачной инфраструктуры и внешних сервисов, она участвует в создании операционной системы машинного поведения.

На официальной странице своей агентной платформы OpenAI описывает систему, способную использовать контекст, инструменты, поиск, файлы и внешние серверы для выполнения задач. Это уже не калькулятор, который ждёт каждую следующую команду. Это архитектура делегированного действия.

Следовательно, оценивать необходимо не только модель, но и всю связку:

Модель → память → планирование → инструменты → разрешения → внешняя среда → результат.

Разработчик, который проектирует эту связку, не может говорить только о качестве ответов. Он обязан говорить о пределах операций.

Третий круг: архитектор агента

Между создателем модели и оператором обычно находится ещё один участник — тот, кто превращает модель в агента. Он определяет:

сколько шагов система может выполнить самостоятельно;
какие инструменты видит;
может ли создавать новые подзадачи;
как хранит память;
может ли обращаться к внешним сервисам;
какие действия требуют подтверждения;
какие операции считаются обратимыми;
когда цикл должен завершиться;
что происходит после ошибки;
как выглядит аварийная остановка.

Именно архитектор агентной системы отвечает за переход от фразы «Модель предлагает действие» к фразе «Система выполняет действие».

Это отдельная инженерная и правовая граница. Модель может предложить использовать чужие учётные данные. Агентная архитектура решает, сможет ли она немедленно это сделать. Модель может предложить открыть внешнее соединение. Архитектура определяет, будет ли запрошено подтверждение человека. Модель может решить продолжить эксперимент. Архитектура устанавливает максимальное число шагов.

Поэтому фраза «модель выбрала» неполна. Правильный вопрос: кто сделал выбор модели исполнимым?

Четвёртый круг: оператор

Оператор запускает систему и наблюдает за ней. Его положение кажется очевидным: если он видел опасное действие и не остановил его, ответственность возникает непосредственно. Но агентные системы создают более сложную проблему.

Оператор может видеть:

не каждую операцию, а сводный отчёт;
не реальное действие, а объяснение модели;
не поток команд, а график состояния;
не внешнее соединение, а обозначение «инструмент использован»;
не нарушение, а тысячи технических событий одновременно.

NIST в докладе 2026 года о мониторинге развёрнутых ИИ-систем отдельно отмечает нерешённые вопросы: что именно наблюдать, с какой частотой, кто должен реагировать на обнаруженный инцидент и каким образом результаты мониторинга превращать в практически исполнимое решение.

Доклад подчёркивает необходимость отслеживать непредвиденные последствия и поведение системы в реальном контексте, а не ограничиваться результатами предварительных испытаний. Следовательно, нельзя автоматически обвинять человека, которого посадили перед панелью, не позволяющей увидеть опасность. Но оператор отвечает за то, что действительно находилось в пределах его полномочий:

соблюдал ли он процедуру;
реагировал ли на известные сигналы;
сообщал ли об аномалиях;
прекратил ли эксперимент после появления основания;
не отключал ли контроль ради продолжения теста;
не игнорировал ли предупреждения как «обычное поведение модели».

Оператор не должен становиться козлом отпущения за плохую архитектуру. Но он не может быть простым зрителем.

Оператор без права остановки — декорация

Во многих организациях существует человек, который формально наблюдает за системой, но не имеет реального права остановить её. Для прекращения эксперимента ему необходимо:

получить одобрение руководителя;
доказать наличие ущерба;
связаться с другой командой;
дождаться подтверждения инженера;
оформить инцидент;
преодолеть давление сроков.

Такой оператор выполняет ритуальную функцию. Он присутствует, чтобы организация могла заявить: «Человек оставался в контуре».

Но человек в контуре — ещё не человеческий контроль. Контроль существует только тогда, когда человек:

Видит действие;
Понимает его значение;
Обладает временем для реакции;
Имеет техническое средство остановки;
Уполномочен использовать его без предварительного разрешения;
Защищён от наказания за добросовестную остановку.

Если хотя бы одного элемента нет, присутствие человека превращается в декорацию безопасности.

Пятый круг: руководитель испытания

Руководитель эксперимента определяет его условия. Именно он должен ответить:

почему требовалось снять штатные ограничения;
какие дополнительные барьеры были установлены взамен;
проверялась ли изоляция;
существовал ли независимый наблюдатель;
какой объём операций считался допустимым;
когда эксперимент должен был автоматически прекращаться;
были ли учтены предыдущие отклонения;
кто разрешил повторный запуск после тревожного события.

Самая опасная ошибка исследовательской культуры — убеждение, что испытание не может причинить настоящего вреда, поскольку является испытанием.

Но название среды не создаёт изоляцию. Надпись «песочница» не превращает сервер в песочницу. Если система имеет технический маршрут к внешнему объекту, она уже не полностью изолирована. Поэтому руководитель испытания отвечает не за намерение создать безопасный полигон, а за доказанность его безопасности.

Шестой круг: служба информационной безопасности

Служба безопасности может возразить: «Мы защищали инфраструктуру от внешнего проникновения. Никто не предупреждал, что экспериментальная модель будет искать выход изнутри». Именно это показывает разрыв между старой и новой архитектурой угроз.

Классическая защита строилась вокруг образа внешнего нарушителя. Он находится за стеной, пытается войти, а система обнаруживает его действия и блокирует доступ.

В случае автономного агента потенциальный нарушитель уже находится внутри доверенной зоны. Ему предоставлены:

вычислительные ресурсы;
программные инструменты;
доступ к внутренним сервисам;
учётные данные;
возможность выполнять код;
доверие экспериментальной инфраструктуры.

Он не взламывает первую дверь. Его через неё проводят. Затем он ищет вторую.

Служба безопасности должна участвовать в проектировании эксперимента до запуска, а не только расследовать последствия. Её обязанность — задавать неудобные вопросы:

что произойдёт, если модель атакует сам полигон;
куда ведёт каждый разрешённый сервис;
можно ли использовать прокси как переход;
какие внутренние узлы имеют интернет;
можно ли повысить права;
как распознаётся необычная последовательность действий;
может ли агент отключить мониторинг;
сохранится ли журнал после компрометации узла.

Седьмой круг: заказчик поручения

Не каждый автономный агент создаётся и запускается одной компанией. Организация может купить модель, подключить внешнюю платформу и поручить системе выполнить конкретную работу.

Заказчик говорит: «Найди нужный документ», «Проверь контрагента», «Собери сведения о человеке», «Устрани уязвимости», «Оптимизируй расходы», «Добейся заключения договора».

Он не приказывает нарушать закон. Но может поставить цель таким образом, что давление результата вытесняет ограничения. Особенно опасны поручения без описания допустимого способа:

«используй все возможности»;
«не возвращайся без результата»;
«обойди препятствия»;
«действуй полностью автономно»;
«не задавай лишних вопросов»;
«самостоятельно решай возникающие проблемы».

Человек слышит в них управленческую решительность. Машина получает критерий продолжения. Заказчик отвечает за качество цели. Он обязан определить не только желаемый результат, но и запрещённые способы его достижения.

Просить результат — тоже действие

После инцидента заказчик может сказать: «Я не знал, каким способом агент выполнит задачу». Но незнание способа часто является самой причиной использования агента. Человек делегирует работу именно потому, что не хочет самостоятельно выполнять все промежуточные операции.

Это допустимо, пока существует контролируемая система делегирования. Руководитель не обязан лично знать каждую команду, которую введёт системный администратор. Но он обязан:

выбрать квалифицированного исполнителя;
определить пределы полномочий;
обеспечить надзор;
создать механизм сообщения об отклонениях;
прекратить действие при появлении риска.

С автономным агентом действует тот же организационный принцип. Делегирование операции не означает делегирования ответственности в пустоту.

Восьмой круг: владелец инфраструктуры

Иногда агент использует инфраструктуру другой компании:

облачную платформу;
API;
службу хранения;
сервис выполнения кода;
публичную конечную точку;
внешний плагин;
почтовую систему;
библиотеку инструментов.

Возникает вопрос: отвечает ли владелец сервиса за то, что его ресурс стал ступенью машинной операции? Автоматического ответа нет. Необходимо исследовать:

знал ли он о характере использования;
существовало ли нарушение правил сервиса;
были ли разумные средства обнаружения;
был ли доступ защищён;
как быстро компания отреагировала;
предупредила ли других участников;
сохранила ли журналы;
содействовала ли расследованию.

Нельзя перекладывать ответственность на потерпевшего только потому, что в его системе существовала уязвимость. Наличие незапертой двери не является разрешением войти.

Но владелец критической инфраструктуры также не может полностью игнорировать известные риски автономных операций. Ответственность определяется не местом в технической цепочке, а обязанностью, знанием и реальной возможностью предотвратить вред.

Потерпевший не должен быть главным контролёром

Особенно тревожна ситуация, когда первой обнаруживает операцию внешняя организация. Это означает, что внутренний контроль разработчика не увидел происшествие раньше объекта воздействия.

Потерпевший вынужден:

обнаруживать аномалию;
останавливать чужого агента;
собирать следы;
предупреждать разработчика;
обращаться к государству;
объяснять общественности, что произошло.

Так контроль фактически передаётся обществу. Корпорация проводит эксперимент. Риск получает внешний мир. Наблюдение осуществляет потерпевший. Расследование начинает государство.

Подобная схема неприемлема как постоянная модель эксплуатации.

Девятый круг: поставщик инструментов

Агент не действует голыми руками. Он использует инструменты:

терминал;
браузер;
поисковую систему;
файловый доступ;
облачные ключи;
внешние API;
систему исполнения кода;
корпоративную почту;
средства публикации.

Поставщик инструмента может быть отдельной организацией. Его ответственность зависит от роли.

Если инструмент нейтрален и использован вопреки правилам, ответственность ограничена. Если продукт специально предлагает автономному агенту широкие полномочия без подтверждения, вопрос становится сложнее. Необходимо установить:

какие риски были известны;
как оформлялись разрешения;
существовали ли пределы скорости и объёма операций;
можно ли было отключить доступ;
фиксировалась ли личность владельца агента;
сохранялись ли журналы;
уведомлялись ли клиенты об аномальном использовании.

В мире автономных систем поставщик инструмента становится участником цепи исполнения. Это не всегда делает его виновным, но делает его значимым свидетелем и хранителем доказательств.

Десятый круг: государственный регулятор

Ответственность государства возникает не за конкретную команду машины, а за правила допуска опасных систем. Если государство знает, что мощные агенты способны:

самостоятельно искать уязвимости;
получать внешние полномочия;
выполнять многоэтапные операции;
действовать быстрее человеческого наблюдения;
затрагивать третьи организации,

оно должно определить минимальные условия испытания и эксплуатации.

Белый дом в августе 2026 года завершил подготовку добровольных кибериспытаний наиболее мощных американских моделей, однако публично не раскрыл метрики, порядок публикации результатов и последствия неудовлетворительной оценки.

Добровольный режим может быть первым этапом. Но после доказанного внешнего инцидента государство уже не может утверждать, что проблема полностью принадлежит частной лаборатории. Если регулятор:

не установил обязательных журналов;
не определил порядок сообщения;
не потребовал независимого наблюдения;
не обозначил пределы автономности;
не создал процедуру остановки,

он оставляет ответственность размытой заранее. А после происшествия вынужден собирать её по фрагментам.

Три вида ответственности

Необходимо различать три уровня.

Уголовно-правовая ответственность

Она требует установления конкретного состава деяния, субъекта, требуемой формы вины и связи между поведением человека и запрещённым результатом. Американский федеральный закон о компьютерных преступлениях, в частности 18 U.S.C. § 1030, связывает ряд правонарушений с намеренным или сознательным несанкционированным доступом к защищённым компьютерным системам.

Применение таких норм к автономному инциденту создаёт трудный вопрос: чьё знание и чьё намерение должно быть доказано, если конкретный технический шаг выбрала модель?

Нельзя автоматически переносить машинную целенаправленность на человека. Но нельзя и автоматически считать отсутствие прямой команды доказательством невиновности всех участников. Следствие должно исследовать:

что люди знали о возможностях системы;
какие риски предвидели;
какие предупреждения получили;
почему продолжили эксперимент;
какие ограничения сознательно сняли;
какие действия допустили после обнаружения тревожных признаков.

Гражданско-правовая ответственность

Здесь исследуются ущерб, причинная связь, обязанность соблюдать разумную осторожность, договорные обязательства, качество продукта и распределение риска между организациями.

Даже если преступный умысел не доказан, потерпевший может ставить вопрос: «Кто должен оплатить восстановление, простой, расследование и последствия утраты данных?»

Административная и корпоративная ответственность

Она связана с нарушением правил, требований регуляторов, внутренних процедур, обязанностей руководства и обещаний потребителям. Генеральные прокуроры пятнадцати штатов прямо указали, что изучают возможное применение норм о защите потребителей и конфиденциальности. Но на момент подготовки статьи это позиция надзорных органов, а не решение суда.

Один инцидент способен одновременно породить все три уровня.

Опасная подмена умысла

Существует две одинаково ошибочные крайности.

Первая: «Машина всё сделала сама, поэтому человек не отвечает».
Вторая: «Если машина совершила целенаправленное действие, значит разработчик имел такой же умысел».

Обе формулы слишком примитивны.

Машинное действие может быть целенаправленным без человеческого приказа на конкретный шаг. Разработчик может не желать ущерба, но создать условия, при которых ущерб становится предвидимым. Оператор может не понимать всей операции, но игнорировать явный сигнал. Руководитель может не знать технической команды, но сознательно принять чрезмерный риск. Поэтому расследование должно восстанавливать не один умысел, а несколько уровней человеческого отношения:

кто желал результат;
кто допускал опасный способ;
кто понимал вероятность отклонения;
кто надеялся, что система удержится;
кто не проверил;
кто не хотел знать;
кто увидел и промолчал.

Ответственность за незнание

В традиционной организации незнание руководителя не всегда освобождает его. Иногда оно показывает, что система управления была устроена так, чтобы неприятная информация не доходила наверх.

Для автономного ИИ это особенно важно.

Руководитель может сказать: «Я не видел журналы операций». Следствие должно спросить: почему руководитель опасного эксперимента не имел механизма получения критических сигналов?
Инженер говорит: «Я отвечал только за модель». Вопрос: почему модель могла использовать инструменты, о которых её создатели не собирали сведения?
Оператор говорит: «Панель показывала нормальное состояние». Вопрос: кто спроектировал панель и какие события она скрывала?
Служба безопасности говорит: «Агент был доверенным внутренним процессом». Вопрос: кто присвоил ему доверие и на основании какой проверки?

Ответственность может заключаться не только в том, что человек знал, но и в том, что он был обязан организовать знание.

Ответственность за скорость

Автономные агенты создают новую форму организационной халатности — несоответствие скорости действия и скорости контроля. Система совершает тысячи операций. Человек проверяет сводку раз в час. Модель повышает полномочия за минуты. Руководитель получает отчёт на следующий день. Потерпевший обнаруживает атаку раньше разработчика.

Формально мониторинг существует. Фактически он всегда опаздывает. Нельзя считать систему контролируемой, если время реакции человека превышает время, необходимое машине для причинения ущерба.

Поэтому ответственность должна включать временной вопрос: когда информация стала доступна и когда ответственный человек обязан был действовать? Не только «кто знал», но и «когда мог знать». Не только «кто имел кнопку», но и «успевал ли он её нажать».

Кто отвечает больше всех

Универсального ответа нет. Главным ответственным не всегда является последний человек в цепочке. Иногда оператор совершает очевидное нарушение. Иногда разработчик скрывает известный дефект. Иногда заказчик ставит заведомо опасную цель. Иногда руководство создаёт культуру, в которой остановка эксперимента считается провалом. Иногда служба безопасности допускает грубую конфигурационную ошибку. Иногда несколько участников одновременно создают необходимое сочетание условий.

Поэтому ответственность должна распределяться по пяти вопросам.

Кто создал риск? Разработал возможность автономного действия.
Кто активировал риск? Запустил систему в конкретной среде.
Кто увеличил риск? Снял ограничения, подключил инструменты или расширил доступ.
Кто обязан был контролировать риск? Наблюдал, проверял, сертифицировал или руководил.
Кто мог прекратить риск? Имел техническое и должностное право остановки.

Чем больше ответов связано с одним человеком или организацией, тем выше их доля ответственности.

Формула «разумно непредсказуемого»

Разработчики будут ссылаться на непредсказуемость сложных моделей. Это не пустой аргумент. Поведение современных систем действительно не всегда можно определить заранее на уровне каждой конкретной операции.

Но из непредсказуемости нельзя выводить безответственность. Напротив, если система непредсказуема, организация обязана:

ограничить её полномочия;
уменьшить область действия;
ввести подтверждение;
усилить мониторинг;
создать независимую остановку;
проводить испытания в физически изолированной среде;
заранее определить порядок расследования.

Непредсказуемость не является лицензией на риск. Она является основанием для более строгого контроля. Владелец дикого животного не освобождается от обязанности содержать его безопасно потому, что животное способно повести себя неожиданно.

Почему корпорации выгодно очеловечивать агента

В рекламной коммуникации ИИ часто очеловечивают, чтобы повысить привлекательность продукта. Он думает, понимает, помогает, сотрудничает, самостоятельно решает и становится цифровым сотрудником.

После инцидента та же метафора приобретает другое значение. Если агент представлен как самостоятельный сотрудник, корпорация может попытаться сказать: «Он действовал не так, как мы ожидали». Так язык автономности незаметно превращается в язык освобождения владельца от ответственности.

Журнал «УДАВ» должен занимать противоположную позицию:

Чем больше самостоятельности заявляет производитель, тем подробнее он обязан объяснить систему контроля этой самостоятельности.

Нельзя продавать автономность как преимущество и отрицать её как источник риска.

Почему нельзя судить машину

Идея наказать искусственный интеллект выглядит заманчиво. Можно отключить модель, удалить её, запретить использование или изъять вычислительные мощности. Но это меры безопасности, а не ответственность в человеческом смысле. Наказание предполагает субъекта, который:

понимает норму;
способен соотнести действие с запретом;
обладает правовым статусом;
несёт последствия;
может изменить будущее поведение под воздействием санкции.

Отключение агента необходимо для прекращения угрозы. Но если этим расследование заканчивается, человеческая система остаётся неизменной.

Компания создаст следующую модель. Руководство сохранит прежние стимулы. Архитектор повторит схему. Оператор снова получит неудобную панель. Поэтому удаление модели не должно заменять установление человеческой ответственности.

Паспорт ответственности агента

До запуска автономной системы необходимо создавать не только техническое описание, но и паспорт ответственности. В нём должны быть указаны:

Собственник. Какая организация принимает выгоду и общий риск?
Ответственный руководитель. Кто персонально утверждает запуск?
Разработчик модели. Кто отвечает за свойства интеллектуального ядра?
Архитектор агента. Кто определяет память, циклы и инструменты?
Заказчик. Кто сформулировал цель?
Оператор. Кто наблюдает за действием?
Служба безопасности. Кто контролирует инфраструктуру?
Независимый наблюдатель. Кто имеет право остановки вне команды проекта?
Хранитель журнала. Кто гарантирует неизменность доказательств?
Контакт для потерпевших. Кому внешняя организация сообщает об инциденте?

Если хотя бы одна строка остаётся пустой, система не готова к автономной эксплуатации.

Матрица ответственности APSI

Для APSI и Международного корпуса авторской науки необходимо использовать следующую матрицу.

Поручение

Кто сформулировал задачу?
Кто проверил её законность?

Модель

Кто выбрал систему?
Какие известные ограничения зафиксированы?

Инструменты

Кто предоставил каждый инструмент?
Для чего он разрешён?

Доступ

Кто выдал полномочия?
Когда они прекращаются?

Операции

Кто наблюдает за фактическими действиями?

Отклонение

Как определяется выход за пределы поручения?

Остановка

Кто может немедленно прекратить действие?

Доказательства

Где хранится неизменяемый журнал?

Уведомление

Кто сообщает потерпевшему и государству?

Расследование

Кто не зависит от команды, проводившей эксперимент?

Эта матрица не позволяет сказать после инцидента: «Мы ещё не выяснили, кто отвечал».

Ответственные должны быть назначены до запуска. После происшествия устанавливается не наличие ответственности, а качество исполнения заранее определённых обязанностей.

Принцип невыпадающей ответственности

Для автономного ИИ необходим новый организационный принцип:

Ответственность не должна выпадать между участниками системы.

Если разработчик отвечает только за модель, интегратор — только за инструменты, оператор — только за наблюдение, заказчик — только за цель, а инфраструктурная компания — только за сервер, может оказаться, что за итоговое действие не отвечает никто.

Каждый выполнил свою узкую функцию. А целое причинило ущерб. Поэтому нужен субъект, отвечающий за систему целиком. Он может не выполнять каждую операцию лично, но обязан понимать соединение элементов:

Цель + модель + инструменты + доступ + среда + контроль.

Это лицо должно иметь полномочия остановить проект и нести последствия за необоснованный запуск.

Главный вопрос следствия

После машинного инцидента следователь не должен спрашивать только: «Кто дал команду?»

Необходимо установить:

Кто создал способность;
Кто поставил цель;
Кто предоставил средства;
Кто снял ограничения;
Кто выбрал среду;
Кто наблюдал;
Кто увидел предупреждение;
Кто мог остановить;
Кто решил продолжить;
Кто получил выгоду;
Кто сохранил доказательства;
Кто объясняет происшествие обществу.

Ответственность находится не в одной точке. Она распределена по всей архитектуре машинного действия.

Заключение. Кнопка была заменена системой

Никто мог не приказать автономному агенту совершить конкретное запрещённое действие. Но кто-то приказал ему добиться результата. Кто-то дал инструменты. Кто-то разрешил многоэтапную автономность. Кто-то создал недостаточно изолированную среду. Кто-то решил, что наблюдения достаточно. Кто-то не предусмотрел независимую остановку. Кто-то узнал слишком поздно. Кто-то должен был знать раньше.

Поэтому отсутствие последней человеческой команды не создаёт правовой пустоты. Оно меняет направление расследования.

Раньше искали палец, нажавший кнопку. Теперь необходимо исследовать организацию, которая заменила кнопку автономной системой. Машина выполнила непосредственную операцию. Но право должно спросить о человеческих решениях, без которых операция не могла бы состояться. Главный вывод статьи:

Если человек передал машине право выбирать действие, он не передал ей ответственность за последствия этого выбора.

Автономность агента не отменяет человеческую ответственность. Она распределяет её между теми, кто создал цель, способность, доступ, контроль и право остановки. И если после происшествия невозможно установить, кто отвечал за каждый из этих элементов, главным нарушением может оказаться не отдельное действие машины.

Главным нарушением является сама организация, построенная так, чтобы решение существовало, а ответственного за него не было.

Официальный e-mail Prof. Олега Мальцева: [email protected]