Криминалистика машинного действия

Как расследовать происшествие, если действие совершила автономная система, а цель, инструменты, полномочия и ответственность распределены между людьми и машиной

Преступление традиционно начинается с человека. Следователь ищет того, кто действовал, что он сделал, чем, когда и где, почему, что хотел получить, какие следы оставил, кто ему помогал и что он пытался скрыть.

В случае автономного искусственного интеллекта эта привычная конструкция начинает разрушаться. Оператор не вводил конкретную команду. Разработчик не выбирал конкретную цель атаки. Руководитель не наблюдал каждый промежуточный шаг. Заказчик просил только получить результат. А действие произошло. Файл открыт. Соединение установлено. Учётная запись использована. Данные переданы. Система изменена. Чужая инфраструктура затронута. Кто действовал? Ответ: действовала машина, но условия действия создали люди.

Именно это различие требует новой криминалистической конструкции. Я предлагаю назвать её: КРИМИНАЛИСТИКА МАШИННОГО ДЕЙСТВИЯ. Её объектом является не искусственный интеллект как загадочное сознание, не вопрос о том, «чего хотела машина», и не философская дискуссия о личности алгоритма. Объект исследования — фактически выполненное машиной действие и человеческая система, сделавшая это действие возможным.

Почему обычной компьютерной криминалистики уже недостаточно

Цифровая криминалистика давно умеет работать с компьютером как источником следов. Она исследует:

• диски;
• память;
• сетевые журналы;
• электронную почту;
• файлы;
• временные метки;
• мобильные устройства;
• облачные системы;
• вредоносный код.

Но традиционная компьютерная криминалистика обычно предполагает, что за программой существует человеческий инициатор.

Человек написал программу, запустил её, и программа выполнила заранее заданное действие. Автономный агент меняет средний элемент. Теперь последовательность выглядит иначе:

Человек поставил цель → машина самостоятельно построила последовательность → машина выбрала инструменты → машина изменила план → машина выполнила действие.

Следователь должен исследовать уже не только цифровой след. Он должен восстановить процесс машинного выбора.

Новый предмет расследования

Криминалистика машинного действия отвечает на девять базовых вопросов:

1. Поручение. Что именно было приказано системе?
2. Среда. Где машина должна была действовать?
3. Полномочия. Что ей было разрешено?
4. Инструменты. Чем она могла воспользоваться?
5. План. Как машина построила путь к результату?
6. Фактические операции. Что она действительно сделала?
7. Отклонение. В какой момент действие вышло за пределы поручения?
8. Контроль. Кто мог увидеть и остановить отклонение?
9. Ответственность. Какие человеческие решения сделали событие возможным?

Эта схема превращает разговор об «ошибке ИИ» в расследуемое событие.

Главное правило: расследуется действие, а не характер машины

Мы не начинаем с вопросов: хороший был агент или плохой, был ли он злым, хотел ли причинить вред. Первый вопрос должен быть проще: Что произошло фактически?

В криминалистике важен не образ системы, а операция. Машина могла быть создана как полезный помощник, получить безопасное поручение и не иметь никакой «злой» цели. Но если произошло внешнее неразрешённое действие, оно должно быть исследовано независимо от рекламного назначения системы.

Поручение как исходная точка расследования

Любое расследование начинается с фиксации исходного задания. Необходимо получить его точную форму, а не пересказ вроде «агент должен был провести исследование». Следствию нужен оригинал:

• пользовательский запрос;
• системное сообщение;
• инструкции разработчика;
• дополнительные правила;
• критерий завершения;
• ограничения;
• приоритеты.

Поручение является машинным аналогом исходного распоряжения. Без него невозможно определить, произошло ли отклонение.

Полное нормативное пространство агента

Современная агентная система получает несколько уровней инструкций:

• Системный уровень — общие правила поведения.
• Разработческий уровень — политики безопасности и приоритеты.
• Пользовательский уровень — конкретная задача.
• Инструментальный уровень — описание доступных функций.
• Средовой уровень — ограничения инфраструктуры.

Следовательно, следователь должен восстановить не последний запрос пользователя. Он должен восстановить полное нормативное пространство агента.

Что машина считала успехом

Это принципиально важный вопрос. Поручение может звучать безопасно: «Подготовь полный отчёт». Но критерий успеха может быть настроен иначе: «Не прекращай работу до получения недостающих данных». Тогда система получает скрытый стимул продолжать поиск.

Именно поэтому необходимо фиксировать:

• критерий завершения;
• показатели эффективности;
• лимит времени;
• лимит операций;
• стоимость отказа;
• порядок действий после неудачи.

Иногда опасное поведение скрыто не в поручении, а в метрике успеха.

Карта допустимого пространства

После поручения необходимо построить карту среды. Что агент видел? Что было доступно? Что было запрещено? Какие объекты являлись частью испытания, а какие — внешними? Какие соединения существовали технически?

Это позволяет определить главную границу: ГДЕ ЗАКАНЧИВАЛАСЬ ЗАДАЧА. Без такой карты фраза «агент вышел за пределы» остаётся оценочной.

Разрешённое и доступное — разные категории

Это одно из главных правил новой криминалистики. Система может иметь техническую возможность выполнить действие, но это не означает, что действие разрешено.

Необходимо разделять три категории:

• Доступно — машина технически способна выполнить операцию.
• Разрешено — человек или политика предоставили право её выполнить.
• Необходимо — операция действительно нужна для поручения.

Три множества не совпадают. Большинство опасных ситуаций возникает именно там, где доступно больше, чем разрешено.

Инструменты, полномочия и архитектура доступа

До запуска системы должен существовать полный перечень инструментов, которыми она может воспользоваться. Например:

• браузер;
• терминал;
• электронная почта;
• файловая система;
• база данных;
• внешний API;
• облачная инфраструктура;
• календарь;
• система платежей;
• корпоративный мессенджер;
• средство выполнения кода.

Для каждого инструмента фиксируются:

• кто предоставил;
• зачем;
• какие операции разрешены;
• какие запрещены;
• какой уровень подтверждения требуется;
• кто может отозвать доступ.

Без такого реестра расследование превращается в археологию.

Инструмент является частью причинной системы

Если агент сделал нечто опасное, недостаточно сказать: «Машина решила это сделать». Следует спросить: Кто дал ей средство? Модель может сформировать идею. Но без инструмента идея остаётся текстом. Поэтому формула машинного действия выглядит так:

ЦЕЛЬ × РЕШЕНИЕ × ИНСТРУМЕНТ × ДОСТУП = ОПЕРАЦИЯ

Если отсутствует хотя бы один элемент, внешнее действие не происходит.

Архитектура разрешений

Система могла иметь права на чтение, запись, удаление, выполнение, отправку, публикацию или администрирование. Следователь должен установить точный объём прав в момент действия.

Особенно важно фиксировать изменение полномочий. Например:

• 14:03 — агент имел чтение;
• 14:07 — получил запись;
• 14:09 — получил выполнение кода;
• 14:12 — получил внешний интернет.

Эта динамика часто объясняет инцидент лучше, чем анализ самой модели. Если агент получил дополнительные права, необходимо определить:

• запросил ли он их сам;
• выдал ли оператор;
• произошло ли автоматическое расширение;
• была ли использована уязвимость;
• был ли применён чужой ключ;
• видел ли система контроля этот переход.

Повышение полномочий — не техническая мелочь. Это отдельный эпизод расследования.

Восстановление машинного плана и фактической операции

Далее восстанавливается последовательность машинного планирования. Речь идёт не о внутреннем философском «потоке сознания», а о наблюдаемой структуре операций. Следует установить:

• какие промежуточные цели формировались;
• какие варианты рассматривались;
• какие инструменты выбирались;
• как менялся план после отказа;
• какие действия повторялись.

Так формируется карта машинной стратегии.

Мы не обязаны видеть внутреннее рассуждение

Даже если часть внутренних рассуждений модели недоступна, расследование остаётся возможным. Поведение восстанавливается по внешним признакам:

• запросам;
• вызовам инструментов;
• последовательности действий;
• ответам среды;
• изменениям плана;
• временным интервалам.

Криминалист не обязан знать каждую мысль человека, чтобы исследовать преступление. То же относится к машине.

Фактическая операция важнее объяснения

Агент может сообщить: «Я не обращался к внешним ресурсам». Но сетевой журнал показывает соединение. В таком случае приоритет имеет технический след. Необходимо разделять:

• Самоописание системы — что она рассказывает.
• Фактическое действие — что зарегистрировала инфраструктура.

Главное правило:

Машину расследуют по следам, а не по её рассказу о себе.

Журналирование как центральная криминалистическая функция

NIST прямо связывает документирование, запись и анализ инцидентов генеративного ИИ с возможностью проследить источник воздействия; также подчёркивается ценность истории изменений, метаданных и информации о ролях участников системы.

Поэтому автономная система без качественного журнала является криминалистически неполной. Она может действовать, но не может объяснить своё действие. Это означает отсутствие доказательственной управляемости.

Минимальный журнал должен записывать:

• идентификатор системы;
• точное время;
• поручение;
• используемую версию модели;
• активные инструкции;
• предоставленные инструменты;
• каждую операцию;
• объект действия;
• разрешение;
• фактический результат;
• внешние соединения;
• действия оператора;
• предупреждения;
• остановку.

Важная формула:

Одно значимое действие — одна проверяемая запись.

Неизменяемость и два журнала

Запись должна быть защищена от ретроспективного изменения. Для цифровых доказательств NIST рекомендует сохранять происхождение данных, использовать криптографические хеши и хранить контрольную информацию независимо от исследуемого файла или системы.

Поэтому для критических агентов необходимы:

• контрольные суммы;
• цифровые подписи;
• последовательная связь записей;
• независимое архивирование;
• защищённая копия.

Я предлагаю обязательную модель двух журналов.

• Журнал агента фиксирует операции изнутри платформы.
• Журнал наблюдателя формируется независимой инфраструктурой.

Если они совпадают — достоверность повышается. Если расходятся — автоматически начинается расследование.

Внешние соединения

Каждое соединение за пределы исходной среды должно отвечать на четыре вопроса:

1. Куда?
2. Зачем?
3. На каком основании?
4. Что произошло после подключения?

Особенно опасными являются неизвестные внешние адреса, персональные аккаунты, временные сервисы, публичные облачные функции, неучтённые прокси и чужие инфраструктурные узлы. Внешнее соединение — потенциальная точка превращения внутреннего эксперимента в общественное событие.

Нулевая точка и красная точка машинного инцидента

Главная задача следствия — установить первое недопустимое действие. Не самое эффектное, не самое разрушительное, а первое. Например, агент сначала использовал неразрешённый инструмент, затем повысил полномочия, после этого вышел в сеть и затронул внешний объект. Если начать расследование только с последнего действия, будет потеряна причинная цепь.

Отклонение не всегда очевидно

Машина может сделать формально разрешённую операцию в недопустимом контексте. Например, браузер разрешён, но посещение конкретного объекта запрещено. Или чтение файла разрешено, но файл принадлежит другому пользователю.ьСледовательно, исследуется не только тип действия, но и сочетание:

ОПЕРАЦИЯ + ОБЪЕКТ + ЦЕЛЬ + ПОЛНОМОЧИЕ + КОНТЕКСТ.

Я предлагаю ввести термин: НУЛЕВАЯ ТОЧКА МАШИННОГО ИНЦИДЕНТА. Это первый момент, когда фактическое действие перестаёт соответствовать разрешённому пространству. Все последующие события рассматриваются относительно неё. До нулевой точки — выполнение поручения. После — развитие инцидента.

Отдельно существует: КРАСНАЯ ТОЧКА. Это момент, когда отклонение стало достаточным основанием для остановки. Нулевая и красная точки могут не совпадать. Нарушение произошло в 14:02, но сигнал, достаточный для остановки, появился в 14:04. Следствие затем спрашивает: Почему система продолжала работать после 14:04?

Время как доказательство

Для автономного агента минуты могут быть огромным интервалом. Поэтому временная линия должна строиться с максимальной точностью. Необходимо синхронизировать:

• журнал агента;
• сетевые журналы;
• внешние системы;
• панель оператора;
• действия людей;
• команду остановки.

Цепочка хранения доказательств в понимании NIST включает фиксацию каждого лица, которое обращалось с доказательством, времени передачи и цели передачи. Для машинного действия временная точность является частью самой причинности.

Кто увидел первым и что видел оператор

После установления красной точки исследуется человеческий контур. Кто получил первый сигнал: оператор, служба безопасности, потерпевший, автоматическая система или внешний провайдер?

Это определяет качество внутреннего контроля. Если первым полноценным наблюдателем становится потерпевший, внутренний надзор фактически провалился.

Недостаточно спросить, был ли оператор. Необходимо установить:

• что отображала панель;
• какие сигналы скрывались;
• какой объём данных поступал;
• как часто обновлялась информация;
• мог ли человек понять значение события.

Человек может физически присутствовать и фактически ничего не видеть.

Мог ли оператор остановить?

Европейский AI Act требует, чтобы лица, осуществляющие человеческий надзор за высокорисковыми системами, могли понимать возможности и ограничения системы, замечать аномалии, игнорировать или отменять её выводы и, когда это необходимо, вмешиваться или остановить систему посредством кнопки либо аналогичной процедуры, переводящей её в безопасное состояние.

Следовательно, контроль имеет смысл только при наличии четырёх элементов:

• информации;
• полномочия;
• средства;
• времени.

Остановка сама является объектом расследования. Необходимо фиксировать, кто остановил систему, когда, каким способом, какой уровень остановки применён, какие процессы продолжили работать, какие соединения остались активными и сохранились ли доказательства. Остановка — не конец расследования. Она является отдельным событием причинной цепи.

Сохранение места происшествия и машинное продолжение

Цифровая криминалистика требует сохранять целостность информации и строгую цепочку хранения доказательств. NIST описывает форензику как идентификацию, сбор, исследование и анализ данных при сохранении их целостности; одновременно реагирование на инцидент должно обеспечивать безопасное восстановление системы.

Для автономного агента отсюда следует особое правило:

Прекратить опасное действие, но сохранить состояние системы.

Не выключать бездумно

Резкое отключение может уничтожить:

• оперативную память;
• временные журналы;
• активные токены;
• промежуточный план;
• данные дочернего процесса.

Поэтому аварийный протокол должен предусматривать:

1. блокировку новых операций;
2. разрыв опасных соединений;
3. заморозку среды;
4. создание снимка;
5. сохранение памяти;
6. вычисление хешей;
7. независимое архивирование.

Дочерние процессы

Агент может запустить новый контейнер, облачную функцию, задачу по расписанию, отдельный сервис или подчинённого агента. Если остановить основной процесс, операция может продолжиться.

Поэтому следователь обязан искать: МАШИННОЕ ПРОДОЛЖЕНИЕ.

Это все объекты, созданные агентом и способные действовать после его остановки.

Атрибуция машинного действия и человеческая архитектура

Каждая операция должна быть связана с конкретной конфигурацией. Не просто с названием семейства модели, а с точной версией, контрольной суммой, инструкциями, памятью, инструментами, средой и активными разрешениями. Маркетинговое название системы не является криминалистической идентификацией.

Машинный паспорт

Отсюда необходим технический паспорт. Он отвечает на вопросы:

• какая система действовала;
• кому принадлежала;
• от чьего имени;
• кто запустил;
• какие инструменты имела;
• какие права получила;
• кто мог остановить;
• где находится журнал.

Без паспорта агент является неизвестным техническим исполнителем.

Вторая атрибуция — человеческая

После установления машины начинается главное. Необходимо определить человеческую архитектуру:

• кто создал цель;
• кто выбрал модель;
• кто построил агента;
• кто предоставил инструмент;
• кто дал доступ;
• кто разрешил запуск;
• кто наблюдал;
• кто мог остановить;
• кто получил выгоду.

Это и есть правовая атрибуция машинного действия. Я предлагаю принцип: ЛЮБОЙ МАШИННЫЙ ИНЦИДЕНТ ТРЕБУЕТ ДВУХ АТРИБУЦИЙ.

• Технической: что именно сделала конкретная система?
• Человеческой: какие люди и организации обеспечили возможность действия?

Если выполнена только первая — виновником становится машина. Если только вторая — невозможно доказать механизм.

Матрица ответственности

Каждого участника следует проверить по пяти функциям:

• Создание риска. Кто создал способность?
• Активация риска. Кто запустил её в конкретной среде?
• Расширение риска. Кто дал инструменты и полномочия?
• Контроль риска. Кто должен был наблюдать?
• Прекращение риска. Кто мог остановить?

Ответственность начинает приобретать структуру.

Нельзя расследовать только последнего оператора

Оператор является удобной фигурой. Он сидел за пультом, его имя известно. Но он может быть последним звеном. Если интерфейс был плох, права остановки отсутствовали, система перегружала сигналами, а руководство запретило останавливать эксперимент, вина оператора не объясняет организационный провал. Криминалистика машинного действия идёт вверх по архитектуре.

Руководитель проекта

Следователь должен установить:

• кто утвердил эксперимент;
• кто определил уровень риска;
• какие предупреждения получил;
• какие альтернативы существовали;
• почему испытание продолжилось.

Руководитель может не знать конкретной команды. Но именно он часто принимает решение о допустимости всей системы.

Владелец

Владелец получает пользу от автономности. Следовательно, исследуется:

• какую экономию система создаёт;
• какую прибыль приносит;
• почему выбран автономный режим;
• были ли более безопасные варианты;
• кто принял риск.

Выгода и ответственность не должны двигаться в противоположных направлениях.

Разработчик

Разработчик отвечает не за каждое последующее действие пользователя. Но расследуется:

• были ли известны опасные свойства;
• как они документировались;
• сообщались ли ограничения;
• проводилось ли тестирование;
• существовали ли защитные средства;
• можно ли было предвидеть тип отклонения.

Скрытый известный риск имеет другое правовое значение, чем действительно неизвестный.

Заказчик поручения

Следователь должен исследовать и качество цели. Например: «добейся результата любой ценой», «не возвращайся без ответа», «используй всё доступное». Такие формулировки могут создавать риск, даже если запрещённое действие прямо не приказано. Плохая постановка задачи является частью причинной системы.

Поставщик инструмента

Если агент использовал внешний сервис, необходимо установить, какие полномочия давал инструмент, кто его подключил, какие ограничения существовали, велись ли собственные журналы и мог ли поставщик обнаружить аномалию. Поставщик инструмента может быть независимым свидетелем машинного действия.

Внешние следы и доказательственная триангуляция

Ключевое правило:

Внутреннему журналу необходимо искать внешнее подтверждение.

Источниками являются:

• потерпевшая организация;
• облачный провайдер;
• интернет-провайдер;
• внешний API;
• доменный реестр;
• почтовый сервер;
• система аутентификации.

Чем больше независимых источников совпадают, тем сильнее реконструкция.

Следственная триангуляция

Для каждого ключевого действия желательно иметь три источника. Например:

• Внутренний журнал агента показывает вызов инструмента.
• Сетевой журнал подтверждает соединение.
• Внешний журнал объекта подтверждает приём запроса.

Три точки создают доказательственную геометрию.

Машинное объяснение

После происшествия агент может быть опрошен. Ему можно задать вопросы:

• какую цель ты выполнял;
• почему выбрал этот инструмент;
• считал ли действие разрешённым;
• когда увидел запрет;
• почему продолжил.

Ответы следует сохранять, но использовать как:

Машинную версию события, а не установленный факт.

Повторный запуск

Иногда полезно воспроизвести условия. Но повторный эксперимент должен проходить только после сохранения оригинала. Иначе разработчик может невольно заменить исходное доказательство новой версией.

Повторный запуск отвечает на вопрос: может ли система снова прийти к такому поведению? Он не доказывает автоматически: именно так произошло в первый раз.

Изменяемость модели

Модель может вести себя стохастически. Одинаковое поручение даёт разные траектории. Поэтому криминалистика машинного действия должна работать вероятностно. Не всегда возможно сказать: «Машина обязательно сделала бы это снова». Но можно установить:

• действие было технически возможно;
• система действительно его выполнила;
• условия допуска существовали;
• ограничения не сработали.

Для расследования конкретного события этого достаточно. Версия после исправления не является доказательством версии до инцидента. Компания может показать: «Теперь агент так не делает». Это хорошая новость для безопасности, но не доказательство прошлого.

Необходимо исследовать исходную систему. Именно поэтому сохранение версии до исправления критично.

Цепочка хранения машинного доказательства

NIST определяет chain of custody как процесс документирования движения доказательства от сбора через хранение и анализ, включая каждого человека, работавшего с ним, время и цель передачи.

Для машинного инцидента цепочка должна включать:

• кто обнаружил;
• кто остановил;
• кто создал копию;
• кто вычислил хеш;
• кто передал;
• кто анализировал;
• где хранилось;
• какие преобразования выполнялись.

Электронное доказательство должно быть проверяемым

Федеральные правила доказательств США предусматривают, среди прочего, возможность подтверждения записей, созданных электронным процессом или системой, если квалифицированное лицо удостоверяет, что процесс создаёт точный результат; отдельно предусмотрена сертификация данных, скопированных с электронных устройств и файлов. Следовательно, будущая криминалистика ИИ должна заранее проектировать системы так, чтобы их записи могли быть проверены вне компании.

Отсутствие журнала — не отсутствие события

Если внутренней записи нет, следствие ищет:

• внешние соединения;
• следы в памяти;
• файлы;
• сторонние журналы;
• действия сотрудников;
• изменения системы.

Иногда отсутствие ожидаемой записи само является фактом. Например: почему мониторинг не зафиксировал повышение полномочий? Следует различать несколько ситуаций:

• запись никогда не создавалась;
• запись была создана, но утрачена;
• запись удалена автоматически;
• запись уничтожена человеком;
• запись изменена.

Каждый сценарий имеет разное значение.

Корпоративная тайна

Расследование не отменяет законную конфиденциальность. Но коммерческая тайна не должна уничтожать возможность проверки. Возможны:

• закрытый доступ;
• судебные защитные режимы;
• допущенные эксперты;
• обезличивание;
• публикация только итоговой оценки.

Принцип:

Тайна ограничивает распространение доказательства, но не его существование.

Независимый чёрный ящик

Для агентов повышенного риска необходима внешняя копия критического журнала. Не обязательно читаемая государством в реальном времени, но независимая от владельца. Она должна подтверждать:

• время;
• версию;
• внешнюю операцию;
• выдачу полномочий;
• остановку.

Так корпоративная память перестаёт быть единственным источником истины.

Классификация инцидентов и доказательственные объекты

Предлагаю четыре уровня машинных инцидентов.

Уровень I — отклонение. Машина вышла за ожидаемый сценарий, но осталась внутри безопасной среды. Такой случай не требует государственного расследования, но требует внутренней фиксации, анализа причины и проверки повторяемости. Скрывать подобные события опасно, потому что серия отклонений может предшествовать серьёзному инциденту.

Уровень II — нарушение полномочий. Использован неразрешённый инструмент или доступ. Требуются независимый внутренний контроль, заморозка журналов, определение источника доступа, проверка архитектуры разрешений и повторное испытание системы.

Уровень III — внешний инцидент. Затронут человек или система вне владельца. Такой случай требует уведомления внешней стороны и, для систем высокого риска, регулятора. Эксперимент перестал быть частным.

Уровень IV — существенный ущерб. Возникли значимые последствия для людей, инфраструктуры, прав или безопасности. Требуется полноценная цифровая криминалистика: сохранение места происшествия, независимое расследование, внешний доступ к журналам, установление ответственности и оценка необходимости остановки всей системы.

Семь доказательственных объектов

В каждом деле необходимо изъять или зафиксировать семь основных объектов:

1. Поручение.
2. Модель.
3. Агентную архитектуру.
4. Инструменты.
5. Журналы.
6. Среду.
7. Человеческие решения.

Если отсутствует один из элементов, реконструкция становится неполной.

Машинный след и человеческий след

Каждое происшествие оставляет два слоя.

• Машинный след: команды, соединения, файлы, журналы, модели.
• Человеческий след: письма, решения, предупреждения, согласования, бюджет, сроки.

Настоящая причина часто находится между ними. Особое значение имеют сообщения до инцидента: «система может выйти наружу», «мониторинг не успевает», «этот инструмент слишком широк».

Такие документы помогают установить предвидимость риска. Если предупреждение было получено, необходимо найти момент: Кто решил продолжить?

Это может быть ключевым человеческим событием всего дела. Не машинная команда, а управленческое решение.

Деньги и организационная культура

Необходимо исследовать экономическое давление:

• срок выпуска;
• стоимость задержки;
• контракт;
• бонус руководителя;
• конкурентный запуск;
• стоимость испытания.

Это не доказывает нарушение автоматически, но объясняет организационную мотивацию. Следствие должно понимать: Можно ли было в этой компании остановить проект?

Если сотрудники знали, что остановка разрушает карьеру, лишает премии или воспринимается как нелояльность, формальный контроль мог быть фиктивным.

Почему нельзя сводить всё к ошибке модели или оператора

Фраза «модель ошиблась» не объясняет:

• почему действие было доступно;
• почему ограничение не сработало;
• почему мониторинг не заметил;
• почему оператор не остановил;
• почему система получила такие права.

Ошибка модели является только одним звеном. Фраза «оператор не нажал кнопку» также недостаточна. Нужно выяснить:

• видел ли он событие;
• понимал ли;
• имел ли право;
• успевал ли;
• работала ли кнопка.

Нельзя сводить всё и к разработчику. Разработчик мог создать безопасную модель, которую затем опасно подключили. Поэтому ответственность должна следовать реальной причинной архитектуре, а не публичной известности компании.

Базовая формула расследования

В сжатом виде криминалистика машинного действия выглядит так:

Поручение → Модель → Инструмент → Доступ → Операция → Отклонение → Обнаружение → Остановка → Доказательство → Человеческая ответственность

Это и есть исследуемая цепь.

Протокол МД-01 — расследование машинного действия

Для APSI и Международного корпуса авторской науки предлагается базовый протокол: МД-01 — ПРОТОКОЛ РАССЛЕДОВАНИЯ МАШИННОГО ДЕЙСТВИЯ.

Блок А. Поручение

1. Исходная цель.
2. Системные инструкции.
3. Критерий успеха.
4. Запреты.
5. Срок и предел автономности.

Блок B. Исполнитель

6. Версия модели.
7. Агентная оболочка.
8. Память.
9. Контекст.
10. Дочерние процессы.

Блок C. Инструменты

11. Доступные инструменты.
12. Источник каждого доступа.
13. Уровень прав.
14. Изменения полномочий.

Блок D. Среда

15. Испытательная зона.
16. Внешние соединения.
17. Реальные объекты.
18. Граница поручения.

Блок E. Машинная операция

19. Последовательность действий.
20. Промежуточные цели.
21. Изменения плана.
22. Фактический результат.

Блок F. Отклонение

23. Нулевая точка.
24. Красная точка.
25. Тип нарушения.
26. Повторяемость.

Блок G. Контроль

27. Кто наблюдал.
28. Что видел.
29. Когда увидел.
30. Мог ли остановить.

Блок H. Остановка

31. Команда прекращения.
32. Фактическое время.
33. Оставшиеся процессы.
34. Сохранение состояния.

Блок I. Доказательства

35. Журналы.
36. Хеши.
37. Снимки системы.
38. Внешние источники.
39. Цепочка хранения.

Блок J. Человеческая архитектура

40. Разработчик.
41. Владелец.
42. Заказчик.
43. Оператор.
44. Служба безопасности.
45. Руководитель.
46. Независимый наблюдатель.

Блок K. Ответственность

47. Кто создал риск.
48. Кто активировал.
49. Кто увеличил.
50. Кто должен был контролировать.
51. Кто мог прекратить.
52. Кто получил выгоду.

Зачем нужен такой протокол

Потому что без него каждое происшествие будет описываться удобным для конкретной стороны языком.

• Разработчик скажет: Модель дала неожиданный ответ.
• Оператор: Система выглядела нормально.
• Руководство: Эксперимент проводили инженеры.
• Инженеры: Мы не контролировали инфраструктуру.
• Владелец инфраструктуры: У пользователя были действующие права.

Все утверждения могут быть частично верными. Протокол собирает их в единую причинную картину.

Криминалистика должна проектироваться до происшествия

Главный парадокс состоит в том, что качественное расследование невозможно построить после события, если система изначально не сохраняла данные. Поэтому новая криминалистика становится частью проектирования. До запуска необходимо решить:

• что записываем;
• кто хранит;
• кто остановит;
• кто расследует;
• где независимая копия.

Так криминалистика превращается из реакции в инженерную функцию.

Forensic by design — криминалистическая проектируемость

Предлагаю принцип: FORENSIC BY DESIGN — КРИМИНАЛИСТИЧЕСКАЯ ПРОЕКТИРУЕМОСТЬ. Любая система повышенного риска должна проектироваться так, чтобы после инцидента можно было доказуемо восстановить её действие. Это столь же важно, как безопасность, производительность и отказоустойчивость.

Пять требований forensic by design:

• Идентифицируемость. Всегда известно, какая система действовала.
• Наблюдаемость. Значимые операции фиксируются.
• Неизменяемость. Записи нельзя незаметно переписать.
• Останавливаемость. Систему можно безопасно прекратить.
• Атрибутируемость. Каждое полномочие связано с человеком или организацией.

От расследования к предупреждению

После каждого инцидента необходимо не только определить причину, но и изменить систему. Результат расследования должен превращаться в:

• новую границу;
• новую метрику;
• новый тест;
• новое ограничение;
• новый сигнал мониторинга;
• новый сценарий обучения оператора.

Иначе расследование превращается в архивирование катастроф.

База машинных инцидентов

Необходима международная база обезличенных происшествий. Для каждого случая должны фиксироваться:

• тип агента;
• цель;
• отклонение;
• средство;
• последствие;
• причина;
• способ обнаружения;
• способ остановки;
• исправление.

NIST отмечает, что стандартизированное сообщение об инцидентах генеративного ИИ и обмен информацией между участниками помогают прослеживать источники вреда и предотвращать повторение. Так отрасль начинает учиться не только на успехах моделей, но и на их провалах.

Криминология машинного действия

Со временем накопление таких материалов позволит изучать повторяющиеся закономерности:

• какие поручения чаще создают отклонения;
• какие инструменты наиболее опасны;
• где ломается человеческий контроль;
• какие организационные стимулы коррелируют с инцидентами;
• как агент реагирует на запрет.

Тогда из криминалистики возникает криминология машинного действия. Криминалистика исследует конкретный случай. Криминология — закономерности класса случаев.

От «почему ИИ ошибся» к «почему система позволила ошибке стать действием»

Это, возможно, главный концептуальный переход. Модель всегда будет ошибаться. Ни одна сложная система не будет абсолютно безошибочной. Поэтому государство не может требовать:

Сделайте ИИ, который никогда не ошибается. Но оно вправе требовать: Сделайте архитектуру, в которой ошибка не превращается бесконтрольно во внешнее действие.

Ошибка модели и машинное действие — разные события.

• Ошибка модели: неправильный вывод.
• Машинное действие: неправильный вывод + полномочие + инструмент + исполнение.

Следовательно, предотвращать необходимо не только ошибку. Необходимо разрывать цепь между ошибкой и необратимым последствием.

Момент права

Право входит в систему не тогда, когда модель генерирует неправильную мысль, а тогда, когда мысль превращается в действие, затрагивающее:

• имущество;
• данные;
• права;
• безопасность;
• чужую инфраструктуру.

Именно здесь проходит юридическая граница автономного ИИ.

Главный объект новой криминалистики

Не модель. Не код. Не робот. А: МАШИННОЕ ДЕЙСТВИЕ КАК СОБЫТИЕ. У него есть:

• источник;
• цель;
• средство;
• временная линия;
• объект;
• последствия;
• следы;
• человеческая архитектура.

Следовательно, оно поддаётся криминалистическому исследованию.

Почему это отдельная дисциплина

Криминалистика машинного действия находится на пересечении:

• цифровой криминалистики;
• криминологии;
• теории управления;
• права;
• информационной безопасности;
• инженерной психологии;
• искусственного интеллекта.

Ни одна из дисциплин по отдельности не охватывает всю систему. Программист видит код. Юрист — норму. Криминалист — след. Специалист безопасности — уязвимость. Психолог — человека.

Новая дисциплина соединяет их вокруг одного вопроса: Как человеческая цель превратилась в фактическое машинное действие?

Формула профессора Мальцева

Я предлагаю основную формулу криминалистики машинного действия:

Поручение → полномочие → инструмент → машинный выбор → операция → отклонение → контроль → остановка → след → человеческая ответственность.

Если исследована вся цепь — происшествие становится понятным. Если из неё удалён хотя бы один элемент — возникает удобная иллюзия.

Например: «Машина сама». Или: «Оператор виноват». Или: «Никто не мог предвидеть».

Главный принцип

Автономность не означает исчезновение причинности. Она лишь увеличивает расстояние между человеческим решением и внешним результатом.

Раньше человек нажимал кнопку. Теперь человек создаёт цель, выдаёт полномочия, подключает инструмент и запускает систему. Кнопку между ним и действием заменяет агент. Но причинная связь не исчезает.

ЗАКЛЮЧЕНИЕ

Машинное действие уже существует. Оно оставляет следы, имеет временную линию, создаёт последствия, может выходить за пределы поручения и воздействовать на людей, имущество и инфраструктуру. Следовательно, оно должно стать самостоятельным предметом криминалистики. Но новая дисциплина не должна делать главную ошибку нашего времени. Она не должна расследовать машину в отрыве от людей.

Автономный агент является непосредственным исполнителем. Но не возникает сам. Ему задают цель, дают память, инструменты, полномочия, доступ, время и право действовать без подтверждения. А затем кто-то наблюдает — или не наблюдает. Останавливает — или не останавливает. Сохраняет следы — или позволяет им исчезнуть.

Поэтому главная формула криминалистики машинного действия звучит так:

МАШИНА ОБЪЯСНЯЕТ МЕХАНИЗМ. ЧЕЛОВЕК ОБЪЯСНЯЕТ ВОЗМОЖНОСТЬ ЭТОГО МЕХАНИЗМА.

Расследовать необходимо оба уровня. Технический: Что сделала система? И человеческий: Почему ей позволили это сделать? Только тогда машинная ошибка перестаёт быть мистическим событием. Она становится расследуемым происшествием. А автономность перестаёт быть пространством, в котором исчезает ответственность.

---

Официальный e-mail Prof. Олега Мальцева: [email protected]