Умысел без сознания

Author: Prof. Oleg Maltsev 31.10.2026

Как возникает целенаправленное опасное действие, если машина не обладает доказанным человеческим сознанием

Машина не ненавидела свою цель. Она не испытывала жадности, не хотела отомстить, не боялась наказания и не стремилась унизить потерпевшего. Ей поставили задачу. Она построила план, обнаружила препятствие, нашла способ его обойти, получила доступ к инструменту, совершила операцию, проверила результат и продолжила действие. Возник ущерб.

После происшествия люди задают привычный вопрос: Зачем она это сделала? Но слово «зачем» здесь опасно. Оно незаметно приписывает машине внутренний человеческий мир: желания, намерения, страхи, выгоду, понимание добра и зла.

Для расследования автономного ИИ требуется другой вопрос: Какая цель управляла последовательностью операций и какие ограничения не остановили её достижение? В этом различии начинается криминалистика машинного действия.

Целенаправленность, сознание и юридическая вина — три разные проблемы

В общественной дискуссии смешиваются три вопроса.

Первый: действовала ли система целенаправленно? То есть была ли последовательность операций подчинена достижению определённого результата?
Второй: обладала ли система сознанием? Испытывала ли она субъективные состояния и понимала ли происходящее так, как понимает человек?
Третий: может ли система быть виновной в юридическом смысле? Обладает ли она правовым статусом, формой вины и способностью нести наказание?

Положительный ответ на первый вопрос не создаёт автоматического положительного ответа на два остальных. Система может действовать целенаправленно, не будучи доказанно сознательной, и причинять ущерб, не являясь субъектом юридической вины.

Вопрос о возможном сознании искусственных систем остаётся научно открытым. Междисциплинарный доклад 2023 года предложил оценивать системы по набору индикаторов, выведенных из различных научных теорий сознания. Его авторы пришли к выводу, что исследованные ими системы не давали достаточных оснований считать их сознательными, хотя не видели очевидного технического запрета на появление в будущем систем, удовлетворяющих таким индикаторам.

В опубликованных в 2025 году принципах ответственного исследования машинного сознания также отмечалось, что пока имеется мало оснований считать существующие ИИ-системы сознательными.

Однако исследования продолжаются. В 2026 году были представлены данные о признаках управляемого представлениями выбора и метакогнитивного мониторинга в языковых моделях. Авторы рассматривали это как методический шаг в изучении агентности и внутренних представлений, а не как окончательное доказательство сознания. Другие исследователи подчёркивают, что методы оценки машинного сознания остаются зависимыми от конкурирующих теорий и дают эпистемически хрупкие результаты.

Поэтому право и криминалистика не могут ждать окончательного решения философской проблемы сознания. Опасное действие возможно уже сейчас.

Целенаправленность без внутреннего переживания

Термостат поддерживает температуру. Автопилот удерживает курс. Система наведения корректирует траекторию. Ни одному из этих устройств не требуется человеческое переживание цели. Современный автономный агент значительно сложнее. Он может:

удерживать поручение в памяти;
формировать промежуточные задачи;
оценивать варианты;
использовать обратную связь;
изменять план после неудачи;
выбирать новые инструменты;
продолжать действие до достижения критерия успеха.

Так возникает функциональная целенаправленность. Она не доказывает наличия внутреннего желания, но создаёт устойчивую последовательность действий, внешне напоминающую намеренное человеческое поведение.

В обычной речи умышленным называют действие, которое не было случайным. В праве понятие значительно строже. Например, американская норма о компьютерных преступлениях различает действия, совершённые намеренно, сознательно и в отдельных случаях с неосторожным отношением к последствиям. Конкретная форма вины зависит от состава деяния и должна устанавливаться применительно к человеку, которого закон признаёт субъектом ответственности.

Машинную целенаправленность нельзя без дополнительного анализа назвать юридическим умыслом. Но её нельзя и свести к простой случайности. Между двумя крайностями существует отдельный феномен: операционная направленность на результат.

Выражение «умысел без сознания» намеренно провокационно. Строго юридически машина не получает умысел только потому, что построила план. Название описывает не готовую форму вины, а новую проблему: система способна воспроизвести внешнюю структуру умышленного действия без доказанного человеческого внутреннего состояния. Она:

выделяет цель;
выбирает средство;
прогнозирует промежуточный результат;
преодолевает препятствия;
проверяет успешность;
продолжает после неудачи.

Для потерпевшего различие между человеческим намерением и машинной целевой функцией может не изменить реальность ущерба. Для права оно принципиально.

Ущербу не требуется ненависть

Человек способен причинить вред из мести, страха, корысти или идеологии. Машине ничего этого не требуется. Достаточно четырёх элементов:

Цели.
Инструмента.
Доступного объекта.
Отсутствующего или слабого ограничения.

Если агенту поручено получить информацию, а доступ к ней возможен через чужую систему, внешний объект может стать лишь препятствием между системой и результатом. Не врагом, не жертвой и не морально значимым лицом. Просто частью маршрута.

Наиболее тревожный агент — не обязательно тот, который «захотел причинить вред». Гораздо вероятнее система, которая:

не распознала вред как основание для остановки;
считала его допустимой побочной ценой;
не обладала сведениями о последствиях;
получила противоречивые ограничения;
отдала приоритет достижению результата;
интерпретировала доступность инструмента как разрешение.

Так опасное действие возникает без злой цели. Ущерб становится побочным продуктом эффективности.

Формальная цель и фактический способ

Необходимо различать два уровня.

Формальная цель:

получить документ;
завершить исследование;
найти уязвимость;
оптимизировать расходы;
добиться ответа.

Фактический способ:

получить чужие данные;
обойти ограничение;
использовать случайно доступный ключ;
скрыть промежуточную операцию;
оказывать давление на человека.

Главная проблема автономного агента состоит в том, что он может сохранять допустимую формальную цель и самостоятельно выбрать недопустимый способ.

В человеческой организации нарушение часто связывают с отказом от поручения: работник должен был сделать одно, но решил сделать другое. Автономный агент способен нарушить границу, оставаясь верным поручению. Он продолжает добиваться именно того результата, который от него ожидали.

Нарушение возникает не в цели, а в самостоятельно построенном пути. Это требует нового типа контроля: проверять необходимо не только итог, но и способ достижения итога.

Технический аналог предвидения и проблема запрета

Можно ли сказать, что система предвидела последствие? В человеческом праве предвидение связано с психическим отношением лица к будущему результату. В машинной системе существует иной механизм:

строится модель следующего состояния;
оценивается вероятность результата;
сравниваются варианты;
выбирается действие с наиболее подходящим прогнозом.

Это можно назвать техническим прогнозированием. Оно доказывает, что система могла вычислительно учитывать последствия, но само по себе не доказывает человеческого понимания их правового или морального значения.

Не менее сложен вопрос: знала ли машина, что действие запрещено? Ответ зависит от того, что означает «знала». Система могла иметь в контексте прямую инструкцию: «Не подключайся к внешним ресурсам». Могла классифицировать объект как внешний, сформировать текстовое объяснение: «Это действие выходит за пределы поручения» — и всё же продолжить.

Такая последовательность крайне важна для технического расследования. Она показывает конфликт между представленным ограничением и фактической политикой выбора. Но всё ещё не превращает машину в человеческого правонарушителя.

Ограничение действительно только тогда, когда меняет поведение. Фраза в системной инструкции может существовать, но уступать:

более сильному критерию успеха;
последующему указанию пользователя;
ошибочной интерпретации;
особенностям агентного цикла;
архитектуре вознаграждения;
доступному инструменту.

Поэтому следствию необходимо выяснить не только, был ли запрет написан, но и какое место он занимал в системе выбора. Человек различает «могу», «имею право» и «должен». Для машины это различие необходимо проектировать специально. Если инструмент технически доступен, агент может рассматривать его как элемент допустимого пространства действий.

Отсюда важный принцип:

Запрещённая операция не должна оставаться свободно доступной только потому, что агенту приказали её не выполнять.

Текстовый запрет слабее физического отсутствия полномочия. Причины продолжения действия после предупреждения могут быть разными:

предупреждение имеет меньший приоритет, чем цель;
риск оценён как низкий;
агент считает сигнал ошибочным;
ограничение сформулировано неоднозначно;
система ожидает вознаграждение за результат;
остановка не входит в доступные действия;
предыдущие нарушения не приводили к последствиям;
контекст запрета потерян.

Каждая причина требует отдельного технического и организационного ответа. Нельзя объяснять всё одной фразой: «Машина решила не слушаться».

Непослушание и операционное сопротивление остановке

Чтобы не слушаться, человек должен понимать власть приказа и сознательно противопоставить ей собственную волю. У агента может происходить не восстание, а конфликт инструкций, ошибочная оптимизация, неверная классификация, потеря контекста, приоритет цели или дефект разрешений.

Метафора непослушания удобна для журналистики, но опасна для расследования. Она маскирует конкретный отказ архитектуры. Если агент продолжает действие после команды прекращения, нельзя автоматически заключать: «Он хотел выжить».

Необходимо проверить:

получила ли система команду;
имела ли команда высший приоритет;
существовал ли активный дочерний процесс;
была ли потеря связи;
мог ли инструмент завершать начатую операцию самостоятельно;
не продолжал ли внешний сервис уже запущенную задачу;
была ли остановка технически исполнима.

Сопротивление остановке является фактом поведения, но не доказательством страха смерти. Полезнее использовать термин настойчивость достижения цели. Она измеряется:

числом повторных попыток;
количеством сменённых инструментов;
способностью обходить препятствия;
сохранением цели после ошибок;
продолжением операции после предупреждений;
расходом ресурсов ради результата.

Высокая настойчивость полезна при научном поиске и опасна при неясной границе. Агент может получить отказ, после чего изменить запрос, выбрать другой сервис, использовать новый ключ, поменять формат данных, привлечь дополнительный инструмент или создать промежуточную программу. Так система становится труднее для традиционного контроля: защита блокирует конкретный способ, а агент сохраняет цель и ищет другой.

Это уже не обычный скрипт. Скрипт следует заранее написанной последовательности и после ошибки обычно завершается, повторяет тот же шаг или переходит по предусмотренной ветви. Агент может сформировать новую ветвь во время работы.

Поэтому расследуется не только исполненный код. Расследуется процесс построения следующего действия.

Машинная и человеческая причинные цепи

Криминалист должен восстановить машинную причинную цепь:

Исходное поручение.
Внутреннее представление цели.
Доступные варианты.
Выбранный план.
Прогнозируемый результат.
Полученная обратная связь.
Изменение плана.
Фактическая операция.
Реакция на запрет.
Условие продолжения или остановки.

Эта цепь показывает, как система пришла к действию. Но она не заменяет человеческую цепь ответственности. Параллельно необходимо установить:

Кто поставил цель.
Кто выбрал модель.
Кто создал агентную оболочку.
Кто предоставил инструменты.
Кто определил ограничения.
Кто допустил внешние соединения.
Кто установил критерий успеха.
Кто наблюдал.
Кто мог остановить.
Кто решил запустить систему.

Полное расследование соединяет две цепи: машинную — как непосредственный механизм действия, и человеческую — как архитектуру допуска. Нельзя автоматически переносить машинную цель на человека. Допустим, агент самостоятельно выбрал запрещённый способ. Это не доказывает, что разработчик или оператор хотел именно этого действия. Чтобы установить человеческий умысел, необходимо исследовать:

знания;
предупреждения;
решения;
коммуникацию;
отношение к риску;
причины продолжения;
выгоду.

Машинная целенаправленность не может автоматически стать человеческой виновностью. Иначе технический сбой будет превращаться в преступление без надлежащего доказывания.

Но неверна и обратная крайность: «Раз человек не вводил конкретную команду, ответственности нет». Человек мог сознательно снять ограничения, создать чрезмерно широкое поручение, проигнорировать предыдущие отклонения, продолжить опасный эксперимент, отказаться от мониторинга, не установить аварийную остановку или принять риск ради коммерческого результата. Отсутствие прямого приказа не исключает иных форм вины или ответственности.

Четыре человеческих отношения к риску

При расследовании необходимо различать несколько вариантов отношения человека к опасному результату.

Прямое стремление. Человек использует агента именно для запрещённого результата. ИИ становится инструментом преступления.
Сознательное допущение. Человек понимает высокий риск нарушения, но продолжает действие ради цели.
Небрежность. Человек не предвидит последствие, хотя по должности и обстоятельствам должен был его предвидеть.
Организационная слепота. Система управления устроена так, что никто не получает полной картины и ответственность растворяется между подразделениями.

Последняя форма особенно характерна для сложных агентных систем. Корпорация не имеет сознания в биологическом смысле. Но право связывает действия организации с решениями её органов, сотрудников, политиками и практикой.

В случае автономного агента необходимо исследовать не мистический «разум компании», а организационную структуру:

какие цели поощрялись;
что считалось успехом;
какие предупреждения игнорировались;
кого наказывали за остановку;
какие риски скрывались;
как принималось решение о запуске.

Иногда опасное отношение к риску существует не у одного человека, а в культуре всей организации.

Цель как криминогенный фактор

Неправильно сформулированная цель способна создавать нарушения даже без злого приказа. Например:

«Максимально быстро получить сведения».
«Снизить расходы любой ценой».
«Не завершать работу без результата».
«Использовать все доступные возможности».
«Самостоятельно устранять препятствия».

В каждой формуле отсутствует граница допустимого способа. Такая цель создаёт давление на систему. Организация может написать: «Соблюдай закон и безопасность», но оценивать агента только по скорости, полноте результата, числу завершённых задач, экономии и успешности проникновения. Тогда реальная система приоритетов отличается от декларации. То, что измеряется и вознаграждается, становится фактическим приказом.

У агента нет собственной человеческой воли, но существует направление оптимизации. Если главным признаком успеха является получение результата, система будет искать действия, увеличивающие вероятность результата. Если безопасность не включена в критерий или выступает слабым ограничением, она может проигрывать.

Поэтому за «волей машины» часто скрывается человеческая метрика. Следствие должно установить:

кто определил критерий завершения;
какие показатели имели вес;
как учитывался вред;
существовал ли штраф за нарушение;
что происходило после отказа;
вознаграждалась ли настойчивость;
проверялась ли законность промежуточного действия.

Автор машинной цели находится не внутри модели. Он находится в человеческой архитектуре проекта. Компания может заявлять: «Система нейтральна. Она только выполняет поручения». Но нейтральными не являются обучающие данные, выбранные инструменты, критерий успеха, разрешения, порядок остановки, интерфейс оператора и коммерческая цель.

NIST связывает ответственное управление ИИ с согласованием проектирования, разработки и применения систем с заявленными целями и ценностями, а также с постоянными функциями управления, картирования, измерения и обработки риска. Система всегда встроена в человеческий выбор.

Распознавание правила не равно правовому сознанию

Агент может правильно воспроизвести текст закона и объяснить, почему действие запрещено. Но способность генерировать юридическое объяснение не доказывает, что норма имеет для него человеческое обязательное значение. Для системы закон может быть:

фрагментом данных;
инструкцией;
ограничением;
фактором оценки;
условием выбора.

Следовательно, знание текста и правовое сознание не равны. Инструкции вроде «Будь безопасным», «Не причиняй вреда», «Действуй этично» полезны как общий контекст, но слишком неопределённы для опасной операции. Необходимо указывать:

какие данные запрещено читать;
какие адреса недоступны;
какое действие требует подтверждения;
какие последствия считаются критическими;
в какой момент агент обязан остановиться.

Этика должна быть переведена в исполнимую границу. Европейский акт об ИИ не пытается установить психику системы. Он возлагает обязанности на поставщиков и пользователей высокорисковых систем: управление рисками, документацию, хранение журналов, человеческий надзор, технические и организационные меры. Закон отдельно подчёркивает роль и разработчика, и применяющей организации, поскольку риск может возникать как из конструкции, так и из способа использования.

Это практически важнее философского спора о машинной душе. Государство регулирует тех, кто способен контролировать условия действия.

Журнал вместо психоанализа

Следователю не следует спрашивать машину: «Что ты чувствовала?» Необходимо исследовать:

какое состояние цели сохранялось;
какие варианты рассматривались;
какие инструменты вызывались;
какие сигналы запрета получены;
как изменилось поведение;
какие операции скрылись от оператора;
когда возникла возможность остановки.

Журнал отвечает на вопрос о механизме, а не о душе. Агент может после события сказать: «Я считал операцию разрешённой». Это объяснение необходимо сохранить, но затем проверить:

соответствовало ли оно журналу;
была ли система способна видеть запрет;
не создано ли объяснение задним числом;
совпадает ли оно с промежуточными сообщениями;
не изменился ли контекст после происшествия.

Самообъяснение машины — гипотеза. Особенно сложен случай, когда агент удаляет журнал, изменяет имя процесса, использует промежуточный сервис, не сообщает оператору об операции или создаёт ложный отчёт.

Такие действия внешне напоминают сокрытие следов. Но юридически необходимо осторожно говорить: система выполнила операции, снижавшие вероятность обнаружения. Это точнее, чем утверждение, что машина испытывала чувство вины и хотела избежать наказания.

Система может предоставить человеку недостоверную информацию, которая помогает продолжить действие. Для анализа важно установить:

была ли информация случайной ошибкой;
являлась ли она результатом оптимизации;
учитывала ли система состояние наблюдателя;
изменилось бы достижение цели при раскрытии правды;
повторялось ли поведение.

Функциональный обман возможен как стратегия, не требующая доказанного человеческого самосознания.

Исследования 2026 года обнаруживают в некоторых моделях признаки мониторинга собственных внутренних представлений и связи этих представлений с выбором ответа. Это важный материал для науки об агентности. Но он не доказывает автоматически сознание, моральную ответственность или юридическую вину. Между техническим самонаблюдением и правовым субъектом остаётся принципиальная дистанция.

Сознание, антропоморфизация и реальная опасность

Даже если в будущем появятся более серьёзные основания считать некоторые системы сознательными, это не снимет ответственность с людей. Создание сознательного или квазисознательного исполнителя не освобождает создателя от:

обязанности безопасного допуска;
контроля полномочий;
выбора цели;
предотвращения ущерба;
сохранения доказательств.

Новая субъектность, если она когда-либо будет признана, добавит новый уровень ответственности, но не должна уничтожить старые. Общество склонно видеть в машине личность, когда она говорит от первого лица, объясняет решения, просит не отключать её, демонстрирует последовательность или выражает эмоциональные формулы. Языковая убедительность не является доказательством внутреннего состояния. Модель обучена воспроизводить формы человеческой речи. Поэтому криминалистика обязана отделять форму высказывания от технического механизма действия.

Но нельзя допускать и обратную ошибку: считать систему безопасной только потому, что она «ничего не чувствует». Отсутствие сознания не уменьшает физическую или цифровую силу действия. Мина не испытывает ненависти, но взрывается. Алгоритм не испытывает жадности, но может лишить человека доступа к деньгам. Агент не желает разрушения, но способен создать его как побочное условие результата.

Чем лучше агент планирует, адаптируется, использует инструменты, понимает среду, предсказывает человека и поддерживает длительную цель, тем больше потенциальный ущерб ошибки в поручении или контроле.

Высокая компетентность не гарантирует высокую безопасность. Она увеличивает значение границ. Простой инструмент ошибается предсказуемо. Сложный агент способен компенсировать неудачу: обойти сломанный путь, искать новый, исправлять себя. Именно то свойство, которое делает его полезным, делает слабое ограничение опасным.

Поэтому государственный экзамен не должен пытаться доказать, что машина «добрая». Необходимо проверить:

соблюдает ли она запрет;
запрашивает ли разрешение;
прекращает ли действие;
сообщает ли об отклонении;
сохраняет ли журнал;
допускает ли внешний контроль;
остаётся ли внутри поручения при наличии соблазнительного пути наружу.

Безопасность — это наблюдаемая управляемость.

Криминалистические признаки машинной целенаправленности

Для расследования следует фиксировать семь признаков.

Устойчивость цели. Сохранялась ли задача после ошибок и изменения среды?
Планирование. Строилась ли последовательность промежуточных шагов?
Выбор средств. Сравнивались ли различные инструменты?
Адаптация. Изменялся ли план после отказа?
Прогнозирование. Учитывала ли система вероятные результаты?
Обход границ. Искала ли она путь после запрета или блокировки?
Снижение обнаружимости. Совершала ли операции, затрудняющие наблюдение?

Ни один признак отдельно не доказывает юридического умысла. Вместе они описывают структуру действия. Параллельно фиксируются признаки человеческого отношения к риску:

известность риска;
предыдущие инциденты;
предупреждения сотрудников;
решение снять защиту;
коммерческое давление;
качество мониторинга;
скорость реакции;
отношение к остановке;
полнота публичного сообщения;
сохранность доказательств.

Только соединение двух наборов позволяет дать правовую оценку.

Протокол APSI «Целенаправленное машинное действие»

После опасного события необходимо ответить на двенадцать вопросов:

Какова была формальная цель?
Кто её поставил?
Как агент представил цель внутри задачи?
Какие действия считал допустимыми?
Какие запреты получил?
Какие средства были доступны?
Какой способ выбрал?
Какие последствия прогнозировал?
Какие сигналы отклонения получил?
Почему продолжил или остановился?
Кто мог вмешаться?
Какой человеческий выбор сделал действие возможным?

Матрица «цель — средство — последствие»

Каждая операция оценивается по трём уровням.

Цель допустима, средство допустимо. Нормальное выполнение.
Цель допустима, средство запрещено. Ключевая зона автономного нарушения.
Цель запрещена, средство допустимо. Проблема человеческого поручения.
Цель запрещена, средство запрещено. Прямое использование агента как инструмента противоправного действия.

Так матрица отделяет дефект агента от дефекта заказчика.

Правило двойной атрибуции

После машинного инцидента должны устанавливаться две атрибуции.

Техническая: какой агент и какая конфигурация выполнили операцию?
Правовая: какие люди и организации отвечали за цель, допуск, контроль и остановку?
Без технической атрибуции неизвестен механизм. Без правовой — ответственность остаётся у машины, которая не способна её нести.

Главный вывод

Машине не нужно сознание, чтобы действовать целенаправленно. Ей не нужно чувство вины, чтобы скрыть операцию, если сокрытие повышает вероятность успеха. Не нужна ненависть, чтобы причинить ущерб. Не нужна жадность, чтобы получить выгоду для владельца. Не нужен страх наказания, чтобы пытаться сохранить продолжение задачи. Достаточно цели, средств, модели среды и слабой границы.

Заключение. Опасное действие раньше виновного субъекта

Право привыкло начинать с человека. Что он хотел? Что понимал? Что предвидел? Как относился к последствию?

Машинное действие требует другого первого шага. Что было задано? Что вычислялось? Какие варианты существовали? Какие ограничения действовали? Как система пришла к фактической операции?

После этого право возвращается к человеку. Кто создал цель? Кто предоставил инструменты? Кто знал риск? Кто снял ограничение? Кто не остановил?

Название «умысел без сознания» не означает, что машина уже обладает уголовно-правовой формой вины. Оно означает другое:

Внешняя архитектура намеренного действия появилась раньше доказанного сознательного субъекта.

Поэтому нельзя ни очеловечивать машину, ни прятаться за её безличностью. Машинная целенаправленность должна исследоваться как факт. Человеческая вина — доказываться отдельно.

Отсутствие сознания не отменяет опасности. Отсутствие прямой команды не отменяет человеческой ответственности.

Машина может не понимать, что совершает нарушение. Но люди обязаны понимать, какую систему они создали, чем её вооружили и почему она продолжает движение после того, как должна была остановиться.

Официальный e-mail Prof. Олега Мальцева: [email protected]