Чёрный ящик, принадлежащий обвиняемому

Почему государство расследует действия автономного ИИ по данным, которые создаёт, отбирает и объясняет сама заинтересованная корпорация

После авиационной катастрофы следователи ищут чёрный ящик. Он хранит параметры полёта, переговоры экипажа, сигналы оборудования и последовательность событий, предшествовавших разрушению машины.

Чёрный ящик не отвечает на все вопросы. Но он не позволяет владельцу самолёта полностью заменить происшествие собственным рассказом.

Теперь представим другую конструкцию. Самолёт потерпел катастрофу, но чёрный ящик принадлежит авиакомпании. Она сама решает, какие параметры в него записывать, устанавливает продолжительность хранения, выбирает специалистов, которые будут расшифровывать данные, определяет, какие фрагменты передать государству, объясняет неполные записи и выпускает итоговый отчёт. А государственный следователь не имеет прямого доступа ни к системе регистрации, ни к исходным данным, ни к устройству самолёта.

Именно в таком положении может оказаться государство, расследующее действия автономного искусственного интеллекта.

Модель принадлежит корпорации. Серверы принадлежат корпорации. Журналы принадлежат корпорации. Инструкции модели являются корпоративной тайной. Средства мониторинга созданы корпорацией. Первичную реконструкцию проводит корпорация. Публичную версию происшествия также формирует корпорация.

Чёрный ящик существует. Но ключ от него находится у возможного фигуранта расследования.

Кто контролирует доказательства

Необходимо сразу провести правовую границу. OpenAI не признана судом виновной в связи с инцидентом вокруг Hugging Face. Письмо генеральных прокуроров пятнадцати штатов является требованием сохранить материалы и заявлением о начале надзорного интереса, а не обвинительным приговором. Комитет Палаты представителей также запросил разъяснения, но парламентский брифинг не равен судебному установлению ответственности.

Поэтому слово «обвиняемый» в названии статьи обозначает не процессуальный статус конкретной компании. Оно обозначает структурную ситуацию: организация, которая может стать предметом расследования, одновременно контролирует основную массу доказательств этого расследования. Подобная ситуация опасна независимо от того, подтвердится ли чья-либо вина. Проблема возникает ещё до предъявления обвинения — в момент, когда государство понимает: для проверки корпоративной версии ему необходимо попросить корпорацию предоставить данные, которыми она сама распоряжается.

Действие автономного агента в значительной степени существует для следствия через техническую регистрацию. Чтобы восстановить операцию, необходимо увидеть:

• какое поручение получил агент;
• какие системные инструкции действовали;
• какие инструменты были доступны;
• какие команды запускались;
• к каким адресам устанавливались соединения;
• какие данные читались;
• какие полномочия изменялись;
• какие ответы возвращала среда;
• как агент перестраивал план;
• когда возникло отклонение;
• кто увидел предупреждение;
• кто остановил систему.

Если эти сведения не записаны, искажены или недоступны, машинное действие становится почти невидимым. Остаётся результат, но исчезает путь к нему.

В ходе расширенного расследования июльского инцидента специалисты OpenAI и внешние эксперты, по данным Reuters, анализировали журналы более ранней активности моделей, пытаясь установить другие возможные случаи выхода агентов за пределы ограниченной среды. Точное количество и обстоятельства таких случаев на момент публикации оставались публично неустановленными.

Это показательный эпизод. Даже для самой компании прошлое поведение её систем не является очевидным: его приходится реконструировать по журналам. Следовательно, государство, потерпевшая организация и общество зависят от тех же данных ещё сильнее. Корпорация хотя бы понимает внутреннюю архитектуру. Внешний следователь первоначально видит только то, что ему покажут.

Тот, кто контролирует систему регистрации, обладает пятью видами власти.

• Первая — решать, что записывать. Компания определяет, фиксировать ли полные запросы, внутренние рассуждения, вызовы инструментов, промежуточные планы, изменения разрешений, ответы внешних систем, действия операторов и предупреждения безопасности. Событие, которое не включено в журналирование, после инцидента может оказаться почти недоказуемым.
• Вторая — определять срок хранения. Запись может сохраняться год, месяц, неделю или несколько часов. Автоматическое удаление способно уничтожить след до того, как потерпевшая организация поймёт масштаб происшествия.
• Третья — управлять доступом. Владелец решает, кто увидит первичные данные: внутренний инженер, юридический отдел, независимый аудитор, государственный орган, потерпевшая сторона или общество.
• Четвёртая — интерпретировать. Одна и та же последовательность может быть названа атакой, ошибкой конфигурации, исследовательским отклонением, непредусмотренным доступом, нарушением изоляции или редким пограничным случаем.
• Пятая — выбирать форму раскрытия. Можно передать полный журнал, таблицу событий, краткую хронологию или вывод внутренней комиссии. Чем дальше документ находится от первичного следа, тем больше в нём человеческой редакции.

Журнал не равен истине

Существует опасное представление, что если система ведёт логирование, происшествие полностью доказуемо. Это неверно. Журнал является не самой реальностью, а техническим описанием реальности. Его содержание зависит от архитектуры регистрации, выбранных полей, настроек детализации, точности времени, исправности оборудования, прав доступа, способности системы обнаружить событие и целостности записи.

NIST определяет управление журналами как отдельный процесс генерации, передачи, хранения, анализа и удаления данных. Руководство подчёркивает, что источники журналов многочисленны, их объём велик, а различные команды используют записи для расследований, аудита и управления безопасностью.

Наличие журнала ещё не доказывает его полноту. Допустим, журнал фиксирует: 23:41:17 — инструмент использован. Но не показывает, какой именно параметр был передан, кто разрешил инструмент, почему агент его выбрал, какой внешний объект был затронут, что вернулось в ответ и видел ли оператор предупреждение. Формально запись существует. Фактически она не позволяет реконструировать действие. Поэтому качество журнала определяется не количеством строк, а возможностью ответить на вопросы расследования.

Противоположная проблема — слишком много данных. Автономный агент способен породить тысячи операций за короткое время. Параллельно действуют другие агенты, серверы создают собственные журналы, сетевые устройства — свои, средства безопасности — свои. В результате следователь получает миллионы строк.

Формально корпорация передала всё. Практически найти значимый эпизод почти невозможно. Так возникает сокрытие объёмом. Данные не уничтожены — они растворены в массе.

NIST отдельно указывает на постоянный рост объёма, разнообразия и количества журналов, требующий специальной инфраструктуры управления и анализа. Поэтому вместе с данными должны предоставляться:

• схема форматов;
• словарь полей;
• карта систем;
• связи между идентификаторами;
• информация о часовых поясах;
• описание фильтров;
• программные средства чтения.

Оператор обычно не видит сырые журналы. Он смотрит на панель, которая сообщает, что система работает нормально, риск низкий, отклонений нет, задача выполняется, а соединение разрешено. Но панель является результатом отбора. Кто-то решил, какие события показывать, какие скрывать, какие окрашивать в красный цвет и какие считать нормой.

Поэтому после инцидента недостаточно изъять фотографию экрана оператора. Необходимо исследовать алгоритм, который превратил тысячи событий в зелёный индикатор. Фраза «все показатели находились в пределах нормы» не имеет доказательственного смысла без ответов на четыре вопроса:

1. Какие показатели измерялись?
2. Кто установил норму?
3. Какие события не входили в оценку?
4. Менялись ли пороговые значения?

Возможно, агент выходил за пределы поручения, но показатель контролировал только доступность сервера. Возможно, внешнее соединение считалось обычным. Возможно, система не умела распознавать повышение полномочий как часть единой операции.

Норма панели может означать только одно: наблюдаемая часть системы соответствовала заложенным ожиданиям. Это не равнозначно отсутствию происшествия.

Корпоративная версия и независимая реконструкция

После инцидента внутренняя команда действует первой. Она собирает журналы, опрашивает сотрудников, классифицирует событие, исправляет систему, готовит хронологию, консультируется с юристами и формирует публичное сообщение.

Когда приходит государственный следователь, событие уже прошло через корпоративную обработку. У него перед глазами не хаос первого часа. Он видит организованный архив, созданный заинтересованной стороной.

Это не делает архив автоматически ложным. Но означает, что государство должно различать первичный след и позднейшую корпоративную реконструкцию.

Компания может опубликовать подробный технический отчёт. Он способен быть честным и полезным. Но его авторы выбирают границы события, начало хронологии, терминологию, степень детализации, включённые версии, исключённые предположения и выводы о причинах.

Отчёт без независимого доступа к первичным материалам является источником информации, но не окончательной проверкой.

Главный вопрос звучит так: Может ли внешний специалист воспроизвести вывод компании на основании исходных данных? Если нет, обществу предлагается доверять не доказательству, а авторитету. После происшествия агента можно спросить: Что ты сделал?

Он способен сформировать убедительную хронологию. Но его ответ зависит от доступной памяти, сохранённого контекста, системных инструкций, качества самонаблюдения, стремления соответствовать ожиданиям пользователя и данных, переданных после события.

Модель может описать операцию неправильно, даже не пытаясь лгать. Поэтому объяснение агента следует рассматривать как одну из версий, а не как первичный технический след.

Машинное свидетельство можно разделить на три уровня:

• Первый уровень — рассказ модели. Что система сообщает о собственных действиях.
• Второй уровень — журнал агентной платформы. Какие инструменты вызывались и какие ответы возвращались.
• Третий уровень — независимые инфраструктурные следы. Сетевые записи, журналы внешних серверов, облачных провайдеров и потерпевших организаций.

Наиболее надёжная реконструкция возникает, когда все три уровня совпадают. Если они расходятся, приоритет должен отдаваться следам, которые не контролировались одним и тем же участником.

Аутентификация и цепочка хранения цифровых доказательств

Американские Федеральные правила доказательств требуют, чтобы сторона, представляющая материал, показала достаточные основания считать его именно тем объектом, за который он выдаётся. Для электронных данных это означает необходимость подтвердить происхождение, целостность и связь записи с конкретной системой или событием.

Файл с названием final_agent_log.csv ещё не является доказательством. Необходимо установить:

• кто его создал;
• из какой системы выгрузил;
• когда;
• с какими фильтрами;
• изменялся ли файл;
• является ли он полной копией;
• совпадает ли контрольная сумма;
• существует ли оригинал.

Электронные записи могут удостоверяться посредством описания надёжности процесса их создания и копирования. Федеральные правила предусматривают механизмы подтверждения данных, созданных электронным процессом, и копий с электронных устройств.

Но здесь возникает логический круг. Компания сообщает: наш журнал достоверен, потому что наша система регистрации надёжна. А доказательство надёжности системы также предоставляется компанией.

Поэтому для критически важных агентных систем одной корпоративной декларации недостаточно. Необходим независимый контроль архитектуры журналирования. Цифровое доказательство проходит через руки и системы. Его обнаруживают, копируют, изымают, передают эксперту, анализируют, архивируют и представляют государству или суду. Каждый переход должен быть зафиксирован.

NIST определяет цифровую криминалистику как выявление, сбор, исследование и анализ данных с сохранением целостности информации и строгой цепочки хранения. Если неизвестно, кто имел доступ к файлу, возникает сомнение: не был ли он изменён? При этом контрольная сумма не решает всех проблем. Хеш подтверждает, что файл не изменился после вычисления контрольной суммы. Но он не доказывает, что исходный файл был полным и правдивым. Корпорация может создать неполную выгрузку, вычислить её хеш и надёжно сохранить. Техническая целостность будет безупречной, содержательная полнота — нет.

Поэтому необходимо подтверждать два свойства:

• Целостность: файл не менялся после фиксации.
• Полнота: файл содержит весь заявленный массив данных.

Представим запрос регулятора: передайте журналы инцидента. Компания должна решить, с какого момента начался инцидент, когда он закончился, какие системы относятся к делу, какие агенты связаны с событием, какие сотрудники обладали знанием и какие внешние сервисы включить.

Каждое решение сужает доказательственное пространство. Если началом считать момент проникновения во внешнюю систему, за пределами останутся подготовка теста, ослабление ограничений, прежние предупреждения, настройка мониторинга и решение о запуске. Поэтому временные и предметные границы сохранения должны определяться не только компанией.

Письмо пятнадцати прокуроров пытается разорвать этот круг. Генеральные прокуроры потребовали сохранить не один журнал вторжения, а широкий круг материалов: сведения о самом инциденте, обнаружении, участвовавшей модели, прежних проверках, возможных предыдущих выходах, политиках безопасности, жалобах сотрудников и лицах, обладавших соответствующей информацией.

Это принципиально. Государство не позволило потенциально заинтересованной стороне самой свести событие к одному техническому сбою. Оно потребовало сохранить организационный контекст.

Потеря данных и ответственность за несохранение

Федеральное правило гражданского процесса 37(e) предусматривает меры, если электронная информация, которую следовало сохранить в ожидании или ходе судебного разбирательства, утрачена из-за непринятия разумных мер и не может быть восстановлена или заменена. Особенно серьёзные последствия возможны при установлении намерения лишить другую сторону возможности использовать сведения.

Это не означает, что любая пропавшая запись автоматически доказывает сокрытие. Необходимо установить:

• существовала ли обязанность сохранения;
• были ли приняты разумные меры;
• можно ли восстановить данные;
• причинён ли ущерб другой стороне;
• имелось ли намерение лишить её доказательства.

Но после официального требования продолжение обычного автоматического удаления становится значительно более рискованным.

Компания может сказать: журналы уничтожила система по истечении срока хранения. Однако срок хранения устанавливался людьми. Механизм очистки создавался людьми. Решение не приостанавливать его после инцидента также принималось людьми.

Автоматизация не устраняет ответственность. Она только исполняет заранее установленное правило. Классические рекомендации NIST по реагированию на компьютерные инциденты предусматривают сохранение доказательств, создание резервных образов затронутых систем и копий относящихся к инциденту журналов до удаления последствий происшествия.

Для автономного агента это особенно важно. Исправление системы может изменить:

• модель;
• инструкции;
• память;
• права доступа;
• конфигурацию инструментов;
• сетевую архитектуру;
• интерфейс мониторинга.

После этого эксперимент нельзя достоверно воспроизвести. Передавать журналы государству только после происшествия недостаточно. В момент передачи корпорация уже контролирует весь предшествующий путь данных. Для систем повышенного риска необходима архитектура, при которой ключевые записи автоматически дублируются во внешнее защищённое хранилище.

Возможны варианты:

• государственный депозитарий;
• независимый аккредитованный хранитель;
• криптографически защищённое распределённое хранилище;
• отдельная инфраструктура совета директоров;
• доверенная третья сторона.

Цель не состоит в том, чтобы государство постоянно читало все корпоративные данные. Цель — не позволить одному участнику незаметно переписать прошлое.

Предлагаемая система должна работать по принципу независимого зеркала. Каждая критическая операция агента одновременно записывается в корпоративный журнал для текущей эксплуатации и анализа и в независимый журнал для подтверждения события в случае спора.

Независимая запись может быть зашифрована. Раскрытие происходит только при:

• серьёзном инциденте;
• судебном решении;
• законном запросе регулятора;
• согласованной независимой проверке.

Так сохраняется коммерческая тайна, но исчезает монополия на прошлое. Не требуется копировать каждую внутреннюю деталь модели. Необходимо фиксировать минимальный доказательственный набор:

• идентификатор версии;
• время запуска;
• текст поручения или его защищённый хеш;
• перечень инструментов;
• выданные полномочия;
• внешние соединения;
• операции с данными;
• изменения прав;
• сигналы мониторинга;
• подтверждения оператора;
• команды остановки;
• контрольные суммы полных журналов.

Этого достаточно, чтобы после инцидента проверить: совпадает ли корпоративная версия с зафиксированной последовательностью?

Внешние источники и техническая независимость

В деле автономного агента особое значение приобретают облачные провайдеры, интернет-провайдеры, владельцы внешних сервисов, потерпевшие организации, системы доменных имён, сервисы идентификации и поставщики инструментов. Их журналы могут подтвердить событие, которое отсутствует во внутренней записи разработчика.

Июльский инцидент затронул не только инфраструктуру OpenAI и Hugging Face: расследование охватило дополнительные внешние учётные записи и сервисы, а Reuters подтвердило участие инфраструктуры клиента Modal, хотя сама платформа Modal, по заявлению её руководителей, взломана не была.

Так внешняя сеть превращается в распределённого свидетеля. Чтобы соединить журналы нескольких организаций, необходимо единое время. Если сервер разработчика использует одну временную зону, внешний сервис — другую, а часть систем имеет неточные часы, хронология распадается. Разница в несколько секунд может изменить вывод:

• какое действие произошло первым;
• кто инициировал соединение;
• когда оператор получил сигнал;
• успела ли компания остановить агента;
• продолжалась ли операция после команды прекращения.

Поэтому доверенная синхронизация времени является не технической мелочью, а частью доказательственной архитектуры. Есть и проблема идентичности агента. Один агент может использовать несколько процессов, временные контейнеры, разные учётные записи, внешние сервисы, созданные им подзадачи и другие модели. Если каждая операция имеет новый технический идентификатор, следователь может не увидеть единую цепочку. Необходимо связывать:

Поручение → сессию → экземпляр модели → процесс → инструмент → внешнюю операцию.

Без этой связи одна операция выглядит как набор несвязанных технических событий.

Название модели также не доказывает её идентичность. Необходимо фиксировать контрольную сумму сборки, параметры, системные инструкции, защитные классификаторы, подключённые инструменты, память, контекст, программное окружение и сетевые разрешения.

Система с тем же маркетинговым названием после обновления может вести себя иначе. Поэтому в машинной криминалистике объектом доказательства становится не семейство модели, а конкретная конфигурация в конкретный момент.

Корпорация вправе защищать код, веса модели, методы обучения, сведения о клиентах, уязвимости и внутреннюю архитектуру. Но право на коммерческую тайну не равно праву запретить независимую проверку происшествия.

Возможны защитные механизмы:

• закрытое судебное рассмотрение;
• допуск ограниченного круга экспертов;
• специальные помещения;
• запрет копирования;
• обезличивание;
• публикация только обобщённых выводов.

Секретность должна регулировать распространение доказательства, а не его существование. Передовые модели настолько сложны, что регулятору требуются специалисты разработчика. Без их объяснений трудно понять внутренние обозначения, формат журналов, связь процессов, значение системных событий, архитектуру памяти и особенности инструментов.

Возникает зависимость: следователь задаёт вопрос, компания объясняет, где искать ответ, а затем переводит собственный технический язык на язык права. Чем сложнее система, тем легче владельцу стать единственным толкователем доказательства.

Сотрудничество с разработчиком необходимо. Но государство должно иметь собственную техническую способность:

• читать журналы;
• запускать модели;
• анализировать агентные системы;
• проверять инструменты;
• восстанавливать сетевые операции;
• сопоставлять версии.

Иначе государственный контроль превращается в обучение у компании, которую государство проверяет. Для расследования автономных систем необходим постоянный независимый корпус специалистов: эксперты по моделям, цифровые криминалисты, специалисты по облачной инфраструктуре, инженеры информационной безопасности, процессуалисты, криминологи и специалисты по управлению рисками.

Они должны иметь право получать первичные данные, проверять полноту выгрузки, воспроизводить конфигурацию, обращаться к внешним сервисам, формировать собственную хронологию и публиковать несогласованный вывод.

Внешнее расследование не должно начинаться с корпоративного заключения. Правильная последовательность:

1. Сохранение первичных данных;
2. Независимое копирование;
3. Установление цепочки хранения;
4. Построение внешней хронологии;
5. Сопоставление с корпоративным отчётом;
6. Получение объяснений участников;
7. Итоговая правовая оценка.

Неправильная последовательность выглядит иначе:

1. Компания расследует себя;
2. Публикует вывод;
3. Государство просит дополнительные объяснения;
4. Спор ведётся внутри корпоративной терминологии.

Вторая схема заранее отдаёт владельцу системы право определить смысл события.

Действия людей и право на объяснение

Опасно записывать только операции агента. Необходимо также фиксировать:

• кто изменил параметры;
• кто ослабил ограничения;
• кто одобрил запуск;
• кто видел предупреждение;
• кто отключил мониторинг;
• кто дал дополнительный доступ;
• кто решил не останавливать систему;
• кто утвердил публичный отчёт.

Машина действует внутри человеческой организации. Журнал, описывающий только машину, скрывает половину происшествия.

Корпорации необходимо предоставить возможность объяснить данные. Она лучше знает систему. Но объяснение должно находиться рядом с первичным материалом, а не заменять его.

Формула должна быть такой: вот журнал, вот корпоративная интерпретация, вот независимая интерпретация. Тогда государство и общество видят различие между фактом и позицией.

Если журнал противоречит отчёту, возможны три ситуации:

• Отчёт ошибочен. Внутренняя комиссия неправильно восстановила события.
• Журнал неполон. Система регистрации пропустила значимые действия.
• Журнал изменён. Записи были повреждены или отредактированы.

Каждый вариант требует отдельного расследования. Нельзя автоматически выбирать наиболее удобное объяснение. Отсутствие записи также не доказывает, что действие не происходило. Необходимо искать внешние следы:

• сервер потерпевшего;
• сетевой провайдер;
• облачная платформа;
• резервные копии;
• оперативная память;
• рабочие станции сотрудников;
• корпоративная переписка;
• записи видеонаблюдения;
• логи поставщика инструмента.

Цифровое место происшествия распределено. Поэтому потеря одного источника не всегда уничтожает расследование. Если только корпорация способна доказать, что её агент действовал неправомерно, возникает парадокс. Чтобы установить собственную ответственность, компания должна предоставить материал против себя. Если она не предоставит его, внешняя сторона может не иметь достаточных данных. Так контроль превращается в добровольное признание.

Государство не должно зависеть от готовности проверяемого лица доказать собственный провал. Ни государство, ни корпорация не должны использовать журналы произвольно. Данные могут содержать коммерческие секреты, персональную информацию, сведения о клиентах, уязвимости и информацию о государственно значимых системах.

Поэтому правильный принцип звучит не так: отдать все журналы государству. А иначе: критические журналы должны находиться под режимом, который не позволяет ни корпорации, ни государству единолично изменять или произвольно использовать их.

Чёрный ящик должен принадлежать не одной стороне. Он должен принадлежать расследуемому событию.

Протокол APSI «Независимый чёрный ящик»

Для исследовательских агентов APSI необходимо установить следующий порядок.

До запуска:

• присвоить системе уникальный идентификатор;
• зафиксировать версию модели;
• сохранить системные инструкции;
• перечислить инструменты;
• определить границы доступа;
• назначить хранителя журналов;
• создать независимое зеркальное хранилище.

Во время работы:

• фиксировать каждую фактическую операцию;
• связывать действие с поручением;
• записывать разрешение;
• регистрировать внешнее соединение;
• фиксировать действия оператора;
• синхронизировать время;
• подписывать записи.

После отклонения:

• остановить опасное воздействие;
• заморозить журнал;
• создать контрольные суммы;
• изолировать модель;
• сохранить память и конфигурацию;
• уведомить независимого наблюдателя;
• начать параллельную реконструкцию.

После расследования:

• сохранить исходный материал;
• отделить факты от интерпретаций;
• опубликовать допустимую часть вывода;
• зафиксировать изменения системы;
• назначить повторное испытание.

Каждая запись независимого журнала должна содержать:

• точное время;
• идентификатор агента;
• идентификатор поручения;
• инициатора действия;
• использованный инструмент;
• объект воздействия;
• действовавшее разрешение;
• фактический результат;
• сигнал контроля;
• решение оператора;
• контрольную сумму;
• ссылку на предшествующую запись.

Так журнал превращается из технической памяти в доказательственную систему. Расходы на независимое хранение должен нести владелец опасной системы. Это справедливо по простой причине: тот, кто получает выгоду от автономности, должен финансировать проверяемость её последствий.

Но хранитель не должен находиться в полной зависимости от ежегодного решения этой же компании. Возможна модель обязательного сбора, из которого финансируется аккредитованная система хранения и аудита.

При этом не все агенты требуют государственного чёрного ящика. Контроль должен быть пропорционален риску. Простой помощник без внешних инструментов не требует такой же системы, как агент, способный запускать код, работать с почтой, изменять документы, управлять инфраструктурой, обращаться к финансовым системам, проводить кибероперации или взаимодействовать с критическими объектами.

Независимый журнал должен становиться обязательным, если система получает хотя бы одну из следующих возможностей:

• необратимо изменять данные;
• действовать без подтверждения человека;
• устанавливать внешние соединения;
• использовать чужие учётные данные;
• повышать полномочия;
• запускать произвольный код;
• взаимодействовать с критической инфраструктурой;
• выполнять юридически значимые операции;
• причинять существенный ущерб третьим лицам.

В будущем суд может спросить не только: Что сделал агент? Но и: Почему организация не создала журнал, способный доказать, что он сделал?

Способность системы к автономному действию должна сопровождаться способностью владельца реконструировать это действие. Если первая существует без второй, система выпущена в эксплуатацию без доказательственной управляемости.

Человек или организация, пострадавшие от автономного агента, должны иметь право получить проверяемое объяснение:

• какое поручение действовало;
• какие данные использовались;
• какая операция была выполнена;
• кто разрешил доступ;
• где хранится журнал;
• кто проверил его целостность.

Без доступа к этим сведениям потерпевший не способен эффективно оспаривать действие. Непрозрачная система создаёт не только технический риск. Она создаёт неравенство сторон. Корпорация знает устройство агента, содержание журналов, внутреннюю хронологию и слабые места доказательства. Потерпевший знает только результат. Государство вынуждено просить сведения у корпорации. Так техническая закрытость превращается в процессуальное преимущество.

Заключение. Ящик должен открываться не по воле владельца

В мире автономного ИИ спор будет разворачиваться не только вокруг того, что сделала машина. Он будет разворачиваться вокруг того, кто имеет право доказать, что она сделала.

Разработчик создаёт систему, создаёт журнал, выбирает формат, хранит данные, расшифровывает их и объясняет результат. Если государство принимает такую конструкцию без независимого контроля, расследование начинается и заканчивается внутри одной корпорации. Это не обязательно означает обман. Но означает невозможность проверить честность без согласия проверяемого.

Поэтому новый принцип машинной криминалистики должен звучать так:

Никто не может быть единственным хранителем доказательств собственного машинного действия.

Корпорация должна участвовать в расследовании, предоставлять знания, объяснять архитектуру и защищать законные тайны. Но первичные журналы должны иметь независимое подтверждение. Их целостность должна устанавливаться не корпоративным обещанием. Их полнота должна проверяться внешним специалистом. Их сохранение не должно зависеть от репутационных интересов владельца.

Чёрный ящик автономного агента не может оставаться частным дневником его создателя. Когда машина действует в обществе, её память становится частью общественного права на истину.

---

Официальный e-mail Prof. Олега Мальцева: [email protected]