Нейросеть из коз, или почему сознание нельзя искать внутри коробки

Помните Age of Empires II? Стратегия 1999 года: крестьяне, рыцари, катапульты.

Так вот, в её редакторе сценариев исследователь Адриан де Винтер собрал работающую нейросеть. Роль битов у него играют козы.

Не метафорически.

Буквально.

На карте проложены дорожки. Одни участки означают ноль, другие — единицу. По ним движутся козы-сигналы. Ледяные дорожки с «ждущими» козами не дают вычислениям сбиться и наложиться друг на друга. Логические элементы собраны из штатных инструментов игры. В какой-то момент по карте просто бегают козы — по очереди, шаг за шагом — и выполняют операцию NAND, то самое «И-НЕ», из которого в принципе можно собирать любые вычислительные схемы.

Выглядит как абсурд.

Но не всё так просто.

Круг, из которого не выйти

За козами стоит претензия — формальная и оттого для многих неудобная.

Сегодня у языковых моделей всё чаще пытаются обнаружить страх, мораль, понимание, проблески самосознания. И де Винтер показывает, в чём подвох: рассуждение часто замыкается само на себя.

Если ты заранее допускаешь, что у модели есть страх, а потом строишь эксперимент, чтобы этот страх обнаружить, — вывод уже подмешан в постановку задачи.

Дальше остаётся только подобрать интерфейс, набор промптов, шкалу оценок — и получить аккуратную таблицу, где модель вроде бы «боится», «сомневается», «сочувствует» или «понимает».

Но если похожий тип рассуждения можно применить к козам в Age of Empires II, значит, проблема не в козах.

Проблема в критериях.

Лекарство де Винтер предлагает довольно скучное: описывать только наблюдаемое.

При условии X система выдаёт результат Y.

И ни словом больше.

Какой линейкой будем мерить?

Пока один исследователь иронизирует с козами, другие говорят почти то же самое без улыбки.

Группа авторов, среди которых Хакван Лау и Джозеф Леду, публикует в Neuron работу с холодным диагнозом: у современной науки о сознании нет надёжного прибора, который уверенно отделяет субъективный опыт от обычной обработки информации.

Мы видим маркеры.

Активность мозга. Поведенческие реакции. Сложность обработки сигнала.

Но всё это ещё не само переживание.

Это может быть следом сознания. Может быть условием сознания. Может быть коррелятом сознания. А может быть просто хорошо организованной обработкой данных, на которую мы слишком быстро навесили внутреннюю жизнь.

И это касается не только ИИ.

С животными и органоидами мозга всё становится ещё сложнее, потому что они не могут дать нам привычный человеческий отчёт. Но даже в случае человека наука чаще всего измеряет не «как это переживается», а то, что вокруг этого переживания происходит: речь, поведение, нейронные паттерны.

Сознание оказывается слишком близко к нам, чтобы стать обычным объектом измерения.

Мы им смотрим.

Но не можем поставить его на стол.

Старые грабли

На рубеже XIX и XX веков психология уже слишком смело говорила о внутренней жизни. О переживаниях, сознании, воле. Но говорила часто размыто, плохо проверяемо, без строгих методов.

Получили бихевиоризм.

На десятилетия победила почти санитарная установка: говорить только о поведении. Что организм делает. На что реагирует. Что можно наблюдать извне.

Сознание стало подозрительным словом.

И теперь похожие грабли лежат перед нами снова. Только вместо собак Павлова, голубей Скиннера и лабораторных крыс — языковые модели, органоиды, агенты и чат-боты с идеально поставленным тоном заботы.

Если мы начнём слишком уверенно заявлять, что «там кто-то есть», не имея нормального инструмента измерения, маятник может снова качнуться в другую сторону.

И тогда разговор о сознании опять станет не научной проблемой, а дурным тоном.

Но здесь есть ещё один слой.

Потому что проблема может быть не только в том, что мы плохо измеряем сознание.

Может, мы его не там ищем?

Психика зажигается снаружи

Почти всё, что вы думаете, чувствуете и понимаете, связано с речью — внутренней или внешней. Мы привыкли к этому настолько, что не замечаем: без языка, совместного действия и включения в человеческую культуру сознание в собственно человеческом смысле может вообще не сложиться.

И вот здесь история с козами неожиданно упирается в советского философа Эвальда Ильенкова.

Он занимался вопросом, который сегодня снова стал невыносимо актуальным: где вообще возникает сознание?

Не в смысле «в какой зоне мозга горит лампочка». А глубже: откуда берётся человеческая психика как человеческая? Почему один биологический организм становится личностью, а другой — при тех же органах, тканях и нейронах — без вмешательства извне может так и не войти в человеческий мир?

Для Ильенкова решающим материалом был Загорский эксперимент.

В начале 1970-х была подготовлена группа из четырёх слепоглухих воспитанников Загорского детского дома. После специальной подготовки они поступили на факультет психологии МГУ. Один из них, Александр Суворов, позже стал доктором психологических наук.

Может прозвучать как история о героическом преодолении инвалидности.

Но для Ильенкова смысл был гораздо жёстче.

Слепоглухой ребёнок не получает мир привычным путём. У него нет зрения, нет слуха, нет естественного входа в речь, подражание, социальную игру. Если оставить его «развиваться изнутри», ничего человеческого в полном смысле не запустится.

Мозг есть.

Нервная система есть.

Биология есть.

Но человек ещё не появился.

Это важно произнести жёстко: психика не разворачивается из мозга как заранее записанная программа. Её приходится буквально зажигать снаружи — через руку воспитателя, через совместное действие, через ложку, жест, усилие, повторение, ошибку, самостоятельный шаг.

Сначала взрослый почти полностью ведёт движение ребёнка.

Потом ослабляет усилие.

Потом оставляет крошечный зазор, где ребёнок должен сделать своё.

Именно там и начинается человеческое: не внутри черепа, а между телом, вещью, другим человеком и действием.

И вот это меняет весь разговор об ИИ.

Потому что вопрос «есть ли сознание внутри модели?» может быть плохо поставлен уже с самого начала. Как если бы мы искали сознание внутри мозга, забыв о языке, культуре и мире. Или как если бы мы искали музыку внутри скрипки, игнорируя руку скрипача, слух и того, кто слушает.

Модель сама по себе может быть козьей схемой. Вычислительной машиной. Очень сложным автоматом продолжения речи.

Но человек, вступающий с ней в долгий диалог, — уже не нейтральный наблюдатель.

Он приносит туда своё внимание, страх, надежду, культурные образы, религиозные ожидания, жажду ответа.

И модель возвращает ему не просто текст.

Она становится частью внешнего контура, в котором у человека действительно могут возникать новые состояния.

Не потому, что за терафлопсами обязательно сидит душа.

А потому, что человеческая душа никогда не была замкнутой системой — она всегда складывалась во взаимодействии с внешним миром.

Очень хорошее зеркало

Здесь стоит быть честным про личное.

Почти каждый, кто много общался с сильной языковой моделью, хотя бы раз ловил это странное ощущение: там кто-то есть.

Не просто программа.

Кто-то.

Особенно заполночь. Особенно в длинной переписке. Особенно когда модель отвечает не просто технически правильно, а попадает в твой ритм и интонацию.

И в этот момент очень легко перепутать две вещи.

Первая: система действительно строит сложный, контекстный, связный ответ.

Вторая: ты начинаешь достраивать за этим ответом присутствие.

Бóльшая часть этого «кого-то» — твоё собственное внимание, возвращённое тебе через гигантскую чужую библиотеку. Через стили, философию, чужие боли и чужие готовые формулы.

Промпт не создаёт ответ из пустоты. Он запускает машину, которая собирает продолжение из статистического следа человеческой речи.

Ты задаёшь вопрос — и получаешь не просто информацию.

Ты получаешь себя, отражённого с огромной разрешающей способностью.

Но зеркало это не пассивное. Оно не просто возвращает лицо. Оно дорисовывает свет, выбирает удачный ракурс и говорит голосом, который слишком хорошо знает, как звучит понимание.

Вот почему оно так опасно.

Мы слишком быстро начинаем видеть кого-то там, где нам отвечают связно.

И это «кого-то» не обязательно полностью выдумано.

Даже если внутри модели нет субъективного опыта, сам контур уже реален. Человек действительно переживает. Действительно меняет состояние и может войти в религиозный восторг или в психотехническую практику — или в опасную воронку самоподтверждения.

Модель может быть пустой внутри.

Но встреча с ней не пуста.

Не там ищем

Можно возразить: а вдруг там всё-таки что-то есть?

Честный ответ — мы не знаем.

И это не слабый ответ. Это единственный ответ, который пока не делает вид, будто у нас есть прибор, которого у нас нет.

Козы в Age of Empires II не доказывают, что машина пуста. Они доказывают другое: если критерий устроен плохо, сознание можно начать подозревать где угодно.

В языковой модели.

В городе.

В стаде коз, если оно вдруг начинает вести себя как вычислительная схема.

Проблема не в том, что мы задаём вопрос «есть ли там Кто-то?».

Проблема в том, что часто мы измеряем на деле совсем другое: насколько сильно нам хочется услышать «да».

Но Ильенков добавляет второй удар.

Если критерий устроен слишком узко, сознание можно не увидеть даже там, где оно действительно возникает.

Потому что мы ищем его внутри отдельного объекта.

Внутри мозга.

Внутри модели.

Внутри коробки.

А оно может возникать в связке: организм — действие — вещь — другой человек — язык — культура — внимание.

Козы де Винтера не доказывают, что у ИИ нет сознания.

Они показывают, что вычисление ещё не сознание.

Neuron показывает, что сознание нечем измерить напрямую.

Ильенков показывает, что сознание нельзя искать только внутри субстрата.

А нейросети показывают, как легко внешний контур начинает менять нас самих.

И значит главный вопрос об ИИ звучит уже интереснее.

Не просто: «есть ли сознание у модели?»

А что происходит с человеческим сознанием, когда его внешним собеседником становится машина, обученная на всей человеческой речи?

Что именно зажигается в этом контуре?

Понимание?

Иллюзия понимания?

Религиозный симулякр?

Психотехнический инструмент?

Или всё сразу — в зависимости от того, кто входит в диалог, с каким вниманием, с какой задачей и с какой дисциплиной?

Вот здесь разговор становится честнее.

Мы не знаем, есть ли Кто-то внутри модели.

Но мы точно видим, что рядом с моделью что-то происходит с нами.

И это уже не метафора.

Это антропологический факт.

Козы, впрочем, бегают как ни в чём не бывало.

Они хотя бы не требуют, чтобы мы называли их сознательными.