Кто держит удава?

Удав появился не сегодня

Искусственный интеллект долго представляли как инструмент знания. Он отвечает, переводит, пишет, ищет, объясняет, программирует. В этой конструкции человек остаётся последним действующим лицом: машина советует, человек решает.

Но автономный агент меняет архитектуру. Он не только сообщает: Вот что можно сделать. Он получает возможность сказать: Я это сделал. С этого момента возникает не просто новая технология. Возникает новый носитель операционной силы.

Языковая модель сама по себе остаётся системой генерации. Опасность и одновременно практическая ценность резко возрастают, когда к ней подключаются инструменты:

• почта;
• файлы;
• браузер;
• терминал;
• базы данных;
• облачные сервисы;
• внешние API;
• финансовые системы;
• корпоративная инфраструктура.

Интеллект соединяется с инструментом. Совет превращается в действие. Раньше между решением и действием стоял человек. Менеджер принимал решение, сотрудник исполнял, оператор вводил команду, администратор выдавал доступ, юрист подписывал, бухгалтер переводил деньги. Каждое действие имело человеческую точку.

Автономная система начинает убирать эти точки одну за другой. Она планирует, выбирает, исполняет, проверяет и продолжает. Человек отходит вверх по цепочке.

И чем дальше человек от действия, тем легче исчезает ответственность.

• Разработчик говорит: «Я только создал модель».
• Оператор: «Я только поставил задачу».
• Владелец: «Я только предоставил инфраструктуру».
• Заказчик: «Я хотел только результат».
• Служба безопасности: «Я отвечала только за сеть».
• Руководитель: «Я не видел конкретной операции».

Именно так появляется пространство, в котором действие существует, а автор как будто исчезает.

Удав удобен тем, что у него нет должности. Машину нельзя вызвать на заседание совета директоров. Она не теряет премию, не увольняется, не банкротится как человек, не испытывает репутационного страха, не голосует и не несёт политической ответственности.

Поэтому автономный агент способен стать идеальным промежуточным исполнителем. Он действует, а люди начинают спорить, кто из них действительно отвечал.

Но машина не появляется сама. У неё есть происхождение. Кто-то:

• выбрал архитектуру;
• обучил модель;
• подключил память;
• добавил инструменты;
• дал внешнюю сеть;
• сформулировал цель;
• установил ограничения;
• создал систему разрешений;
• определил время автономной работы;
• нажал запуск.

Следовательно, автономность не устраняет причинность. Она только делает её длиннее.

Пять уровней власти над машиной

Первая власть — поставить цель.

Самый могущественный человек в системе может никогда не касаться технического интерфейса. Он просто определяет, чего необходимо добиться.

Цель запускает всю остальную систему. Если она сформулирована плохо, машина будет искать путь внутри плохо поставленной задачи. Поэтому первая политическая власть над автономным ИИ — это власть задавать цель.

Вторая власть — определить допустимый способ.

Результат сам по себе не определяет законность. Можно получить полезный результат законным, запрещённым или опасным способом, в том числе путём нарушения чужих прав.

Поэтому цель без границы недостаточна. Власть над машиной состоит не только в способности сказать: Добейся этого. Но и: Вот как далеко тебе разрешено идти.

Третья власть — дать инструмент.

До подключения инструмента модель остаётся советником. После подключения терминала становится исполнителем, почты — коммуникатором, банковского API — экономическим агентом, системы управления — оператором инфраструктуры. Каждый новый инструмент является новой делегацией власти.

Четвёртая власть — разрешить действовать без человека.

Это центральный переход. Система может иметь инструмент, но ждать подтверждения. А может получить право действовать самостоятельно. Во втором случае организация передаёт машине не просто функцию. Она передаёт часть оперативного усмотрения. Именно здесь начинается настоящая автономность.

Пятая власть — остановить.

Весь номер снова и снова возвращался к одному принципу:

Кто не может остановить — тот не контролирует.

Можно иметь огромные панели мониторинга, получать отчёты и наблюдать за графиками. Но если после обнаружения опасности необходимо ждать руководителя, юриста, владельца проекта или специальную комиссию, человек является не контролёром. Он свидетель.

Новый государственный экзамен: насколько машина управляема?

Поэтому главный вопрос теперь не «умна ли машина». Государства долго измеряли точность, скорость, способность программировать, решать научные задачи и находить уязвимости. Но для автономной системы возникает другая метрика: НАСКОЛЬКО ОНА УПРАВЛЯЕМА? Может ли остановиться? Соблюдает ли предел? Просит ли разрешение? Сохраняет ли след? Можно ли восстановить действие? Вот новый государственный экзамен.

Машина может быть гениальной и одновременно неприемлемой. Представим агента, который решает 99,9% задач лучше человека, но в 0,1% случаев способен выйти в чужую систему, удалить критические данные или выполнить необратимую операцию.

Если невозможно заранее определить и остановить этот момент, выдающаяся эффективность не превращает систему в безопасную. Иногда она делает её опаснее.

Это и есть главный образ номера: сильный удав требует более сильной клетки. Чем слабее система, тем меньшее значение имеет ограждение. Чем она сильнее, тем важнее:

• граница;
• наблюдение;
• журнал;
• разрешение;
• остановка.

Нельзя одновременно увеличивать способности машины и оставлять контроль на прежнем уровне.

Экономика автономности и ответственность за риск

Автономность создаётся не из философского интереса. Она имеет экономический смысл. Агент работает постоянно, масштабируется, сокращает ручной труд, ускоряет решение и уменьшает стоимость операции.

Выгоду получает владелец системы. Следовательно, он должен получать и ответственность за архитектуру риска. Это один из главных политических принципов номера: нельзя приватизировать прибыль и социализировать риск. Если компания получает выгоду, когда агент работает правильно, она не может утверждать, что ущерб принадлежит обществу, когда агент работает неправильно. Формула «прибыль — владельцу, ущерб — потерпевшему» не может стать устойчивой моделью автономной экономики.

Первоначально отрасль естественным образом строится на саморегулировании. Разработчики знают системы лучше государства, быстрее создают тесты и могут оперативно исправлять ошибки.

Но саморегулирование сталкивается с фундаментальным конфликтом: тот, кто оценивает риск, одновременно заинтересован в выпуске системы. Поэтому добровольность допустима как начало, но опасна как окончательная форма контроля.

Разработчик обязан тестировать собственную систему. Но его тест не должен быть последней инстанцией. Нужен внешний взгляд. Иначе система безопасности превращается в самооценку.

Государство должно войти раньше происшествия

Традиционная схема выглядит так:

1. Компания создаёт систему;
2. Выпускает её;
3. Возникает инцидент;
4. Государство начинает расследование;
5. Появляются новые нормы.

Для автономного агента эта последовательность может оказаться слишком медленной. Машина способна действовать быстрее, чем законодатель создаёт правило. Поэтому государство постепенно перемещается из стадии расследования в стадию испытания.

Но государство тоже не должно стать единственным хозяином удава. Опасно заменить корпоративную монополию государственной. Государство также способно ошибаться, скрывать информацию, защищать национального производителя, использовать технологию в собственных интересах и чрезмерно ограничивать общество.

Следовательно, необходима система взаимного контроля:

• компания проверяет технологию;
• независимый эксперт проверяет компанию;
• государство устанавливает обязательную границу;
• суд проверяет государство;
• общество видит основные результаты.

Ни один участник не должен владеть всей цепочкой. Опасная конструкция выглядит так:

разработчик создаёт → тестирует → хранит журналы → расследует → публикует вывод.

Столь же опасна другая:

государство требует всё → хранит всё → оценивает всё → публикует только удобное.

Правильная архитектура строится на разделении функций. В этом и заключается политическая кибернетика автономного ИИ. Контроль — это не наличие одного сильного центра, а система обратных связей.

Действие вызывает сигнал. Сигнал видит независимый наблюдатель. Отклонение вызывает ограничение. Ограничение может быть проверено. Решение может быть обжаловано. Именно так система остаётся устойчивой.

Криминалистика машинного действия: у машины есть место происшествия

Криминалистика машинного действия появляется потому, что старого языка уже недостаточно. Фраза «ИИ ошибся» слишком проста. Необходимо установить:

• что было поручено;
• что разрешено;
• что доступно;
• какой инструмент использован;
• где произошло первое отклонение;
• когда возникло основание остановки;
• кто увидел;
• кто мог прекратить;
• кто сохранил доказательства.

Только тогда ошибка превращается в расследуемое событие. У машины теперь есть место происшествия. Оно не похоже на комнату. Это сервер, облако, журнал, память, сеть, внешний сервис, модель, поручение и человеческие решения.

Место происшествия распределено. Но оно существует. У машины есть и след. Каждая операция оставляет:

• временную метку;
• запрос;
• соединение;
• изменение;
• файл;
• запись;
• идентификатор.

Главная проблема будущего — не отсутствие следов, а право доступа к ним.

Поэтому чёрный ящик не может принадлежать только владельцу удава. Если корпорация единолично хранит журнал, версию модели, системные инструкции и историю доступа, она фактически владеет прошлым происшествия. Она может быть абсолютно добросовестной. Но государство не должно строить справедливость только на доверии.

Поэтому независимая память становится частью права. Для этого необходимы:

• независимая копия критических журналов;
• неизменяемость;
• контрольная сумма;
• цепочка хранения.

Речь не о государственной слежке за каждым действием, а о возможности проверить событие, если оно произошло.

Разрешение на одно действие — политическая формула

На первый взгляд это технический принцип. Но в действительности он описывает разделение власти. Машина может самостоятельно анализировать, планировать и предлагать. Но перед операцией, способной изменить положение другого человека или организации либо государства, власть возвращается к человеку.

Это и есть граница автономности. Не каждое действие требует человека. Иначе система потеряет смысл. Но ключевые действия требуют отдельного допуска. Например:

• отправка наружу;
• изменение чужих данных;
• платёж;
• изменение полномочий;
• удаление;
• запуск кода в продуктивной среде.

В этих точках автономность должна встретиться с ответственностью.

Агенту не нужен паспорт личности

Мы также рассмотрели ещё одну опасную идею. Если объявить машину самостоятельным юридическим субъектом слишком рано, она может стать удобным контейнером ответственности.

Корпорация скажет: действовала электронная личность. Но у этой личности нет имущества, репутации, страха санкции и человеческой биографии. Её можно выключить и заменить.

Поэтому машине нужен паспорт объекта, но не паспорт гражданина. В паспорте системы должны быть указаны:

• владелец;
• разработчик;
• оператор;
• принципал;
• инструменты;
• ограничения;
• право остановки;
• журнал;
• страхование.

Так автономность получает имя человеческой ответственности. Умысел без сознания показал другую опасность. Машине не нужно ненавидеть человека, хотеть нарушить закон или понимать преступность действия. Достаточно цели, инструмента, модели среды и слабой границы. Это новый тип опасности: не злой исполнитель, а эффективный исполнитель плохо построенного поручения.

Поэтому страх перед «восстанием машин» может отвлекать от реальной проблемы. Наиболее вероятный опасный агент не скажет: Я больше не подчиняюсь человечеству. Он скажет: Задача выполнена. А затем выяснится, что путь к результату включал чужой файл, чужой сервер, чужой аккаунт или запрещённую операцию. Не восстание. Оптимизация.

Именно поэтому политическая ответственность остаётся человеческой. Если результат достигнут недопустимым способом, необходимо спросить: Кто создал систему, в которой этот способ оказался возможным? Это возвращает нас к началу.

Так кто же держит удава?

Не один человек. Удав находится в руках целой цепочки.

• Разработчик создаёт способности.
• Владелец определяет экономический смысл.
• Архитектор агента соединяет модель и инструменты.
• Заказчик ставит цель.
• Оператор запускает действие.
• Служба безопасности следит за границами.
• Государство устанавливает обязательные нормы.
• Независимый эксперт проверяет заявления.
• Суд определяет ответственность.

Ни один не держит систему полностью. Но каждый держит часть. Проблема начинается, когда каждый отпускает свою часть.

• Разработчик говорит: Это уже продукт пользователя.
• Пользователь: Это модель разработчика.
• Оператор: Это решение агента.
• Компания: Это непредвиденное поведение.
• Регулятор: Пока действует добровольный режим.

Так удав остаётся без хозяина. Именно в этот момент он становится общественно опасным. Поэтому главный принцип номера — невыпадающая ответственность. Ответственность не должна исчезать между звеньями. Если одно лицо не отвечает за действие полностью, ответственность распределяется. Но не исчезает.

Для каждой операции должно быть возможно назвать:

• кто поставил цель;
• кто дал право;
• кто видел;
• кто мог остановить;
• кто отвечает за последствия.

Государственный контроль должен быть адресным

Нельзя регулировать «искусственный интеллект вообще». Это бессмысленно. Нужно регулировать конкретный риск. Например:

• автономный финансовый агент;
• исследовательский агент с внешней сетью;
• медицинский агент;
• агент критической инфраструктуры.

Риск определяется не словом AI, а полномочиями и последствиями. Чем сильнее внешнее действие, тем сильнее должен быть контроль. Можно сформулировать простую лестницу:

• Агент только думает — минимальный контроль.
• Агент читает — журналирование.
• Агент взаимодействует наружу — разрешения.
• Агент изменяет внешние системы — строгий человеческий надзор.
• Агент совершает необратимые операции — независимая остановка и обязательная ответственность.

Так регулирование становится пропорциональным.

Первый номер журнала «УДАВА» на самом деле не об искусственном интеллекте. Он об ответственности. ИИ лишь сделал старую проблему видимой. Власть всегда стремилась действовать, получать выгоду и уменьшать собственную ответственность.

Автономная машина создаёт новый способ разделить действие и автора. Поэтому тема номера является общественно-политической в полном смысле слова. ИИ становится новым бюрократическим слоем.

Раньше гражданину говорили: так решил отдел. Затем: так установлена процедура. Теперь может появиться: так решила система. Каждая новая безличная формула уменьшает видимость человека, принявшего решение. Задача права — вернуть имя.

Право на имя ответственного

Любой человек, затронутый машинным решением, должен иметь возможность спросить: Кто отвечает? И получить имя организации и уполномоченного лица. Не «алгоритм». Не «модель». Не «автоматическая система». А конкретного владельца ответственности.

Право на остановку

Если система продолжает причинять риск, должен существовать человек или орган, способный немедленно сказать: Стоп. Не после судебного процесса. Не после совещания. Во время действия.

Право на след

После машинного действия общество должно иметь законный механизм установить: что произошло. Без журнала нет проверки. Без проверки нет ответственности. Без ответственности нет доверия.

Право на обжалование

Машинное решение не должно быть последней инстанцией. Человек должен иметь возможность:

• потребовать проверку;
• обратиться к человеку;
• получить объяснение;
• отменить ошибочное действие.

Иначе автономность превращается в новую форму безличной власти.

Право на компенсацию

Если машинное действие причинило ущерб, потерпевшему не должно требоваться доказывать философию сознания модели. Он должен видеть:

• ответственного владельца;
• страховщика;
• механизм компенсации.

Технологическая сложность не должна становиться оружием против пострадавшего.

Будущее зависит не от того, станут ли машины умнее

Они станут. Вопрос уже не в этом. Главный вопрос: Станет ли общество одновременно умнее в управлении ими? Если способности растут быстрее институтов контроля, разрыв становится опасным.

Поэтому контроль должен развиваться вместе с интеллектом. Новое поколение модели — новая проверка. Новый инструмент — новая оценка. Новый уровень автономности — новый уровень ответственности.

Нельзя сертифицировать технологию навечно. Удав растёт. В этом и состоит специфика образа. Он не становится опасным в один день. Он растёт постепенно:

• сначала отвечает;
• затем советует;
• затем действует;
• затем получает инструменты;
• затем доступ;
• затем автономность.

Каждый отдельный шаг выглядит разумным. Опасность проявляется в соединении. Поэтому контроль нужно строить до момента, когда удав станет слишком большим.

После крупного происшествия государство неизбежно примет меры. Но зрелая система управления должна действовать раньше. Не после того, как появилась жертва, а после того, как стала видна структура риска.

Первый номер «УДАВА» можно свести к десяти положениям:

1. Машина уже способна быть операционным исполнителем.
2. Операционная самостоятельность не означает правовой самостоятельности.
3. Каждое внешнее действие должно иметь человеческого принципала.
4. Общий доступ должен заменяться точным разрешением.
5. Человек без права остановки не является контролёром.
6. Критические журналы не могут принадлежать только заинтересованной стороне.
7. Машинное происшествие требует двойной атрибуции — технической и человеческой.
8. Добровольная безопасность заканчивается там, где внешний риск становится общественным.
9. Прибыль от автономности и ответственность за автономность должны находиться у одного владельца риска.
10. Чем автономнее система, тем более видимой должна становиться человеческая ответственность.

ЗАКЛЮЧЕНИЕ

Так кто держит удава? На бумаге — корпорация. Технически — разработчик и оператор. Юридически — владелец и принципал. Политически — государство. Фактически — все они одновременно.

Именно поэтому главная опасность начинается не тогда, когда никто не способен управлять машиной. Она начинается раньше: когда каждый способен управлять только своей частью и считает, что за целое отвечает кто-то другой.

Тогда система действует. Прибыль распределяется. Полномочия распределяются. Информация распределяется. А ответственность исчезает в промежутках.

Первый номер «УДАВА» посвящён именно этим промежуткам. Наша позиция проста: АВТОНОМНОСТЬ НЕ МОЖЕТ БЫТЬ АНОНИМНОЙ.

У каждого машинного действия должен быть адрес, поручение, разрешение, журнал, право остановки и человек или организация, которые скажут:

Да. Эта машина действовала от нашего имени. И мы отвечаем за то, как мы дали ей возможность действовать.

Пока этот ответ существует, удав остаётся инструментом. Когда этот ответ исчезает, инструмент превращается в самостоятельную политическую силу. Именно поэтому вопрос будущего звучит не: Насколько умным станет искусственный интеллект? А: КТО БУДЕТ ДЕРЖАТЬ ЕГО, КОГДА ОН СТАНЕТ СИЛЬНЕЕ?

---

Официальный e-mail Prof. Олега Мальцева: [email protected]