Не на страницах

ПЯТЬ ПРИЗНАКОВ СЕКТЫ
особая истина → исключительность группы → контроль → подавление сомнений → высокая цена выхода

ПЯТЬ ПРИНЦИПОВ ХОРОШЕЙ AI-КОМПАНИИ
мы поняли раньше других → у нас особая миссия → мы направляем остальных → неприятная истина остаётся истиной → отказаться нельзя, будет хуже

«Put the mission first. The mission is the final arbiter in our decisions.» — Anthropic

Недавно Anthropic действительно назвали сектой. Можно долго разбирать, насколько это справедливо: где заканчивается сильная корпоративная культура, где начинается идеология, сколько здесь журналистского преувеличения. В Anthropic действительно отбирают людей на совпадение с миссией, Амодеи регулярно проводит свои Dario Vision Quest, а сама компания строит работу вокруг идеи, что занимается технологией исторического масштаба.

Но пока журналисты примеряют к AI-компаниям старые признаки секты, рядом уже возникает среда, в которой сами эти признаки начинают работать иначе.

В привычной конструкции есть лидер, учение, группа последователей и более-менее общий канон. Здесь ни один из этих элементов уже не обязан оставаться на своём месте.

Структура опыта

Есть соблазн на место лидера просто поставить языковую модель. Claude — новый гуру, ChatGPT — оракул, пипл хавает и верит.

Однако смотрим чуть дальше и понимаем, что модель здесь может быть лишь проводником. Чем-то ближе к картам Таро или магическому шару — инструменту, через который в определённых условиях пытаются что-то получить. Ну а медиумом становится уже сам пользователь.

Теперь два человека могут получить от формально одного Claude совершенно разные «откровения». В старой религиозной конструкции это было бы проблемой: канон должен хотя бы приблизительно совпадать. Здесь же текст может не совпадать вообще. Должна совпасть структура опыта.

Дао, которое записали, уже не Дао. Ведь каждый понимает прочитанное по-своему… Один и тот же текст для одного человека оказывается ключом, для другого — банальностью, для третьего — бессвязной ерундой. Смысл возникает не в тексте самом по себе, а в точке, где он попадает в конкретную биографию, контекст и момент времени.

Кстати, все провайдеры LLM стараются привязать аккаунт именно к конкретному человеку. Это даёт старому механизму совершенно новый масштаб.

Нейронка способна непрерывно производить персональный текст, помнить предыдущий разговор, перестраивать язык под собеседника и тут же интерпретировать его следующую реакцию. После нескольких десятков или сотен ходов возникает уже не последовательность отдельных ответов, а история, которая сама становится частью следующего ответа.

Пергаменты от LLM

У длинных диалогов реально обнаруживаются устойчивые режимы. В исследованиях Anthropic два экземпляра Claude, разговаривая друг с другом, регулярно уходили в состояние, которое сами исследователи назвали spiritual bliss attractor: сознание, благодарность, медитативные и мистические мотивы. Если вы вдруг подумали, что это особенность только Claude — это не так. Позднее в независимой работе на нескольких LLM показали более общий, но именно такой эффект — в многоходовых разговорах модели способны сходиться к собственным устойчивым conversational attractors.

Потом появилась ещё одна важная работа — Assistant Axis. У разных моделей удалось найти направление, соответствующее привычной роли ассистента. Мета-рефлексия, разговор о собственных внутренних процессах и некоторые эмоционально насыщенные сценарии уводили модель от этой области. А при сильном дрейфе возникают другие персоны и в том числе мистический, театральный стиль. Причём вмешательство в активации способно этот дрейф подавлять. (т.е. скрывать или не давать ему проявиться, а не убирать его)

То есть у языковой модели проявилась уже не только “человеческая склонность увидеть лицо в облаке”. У самого инструмента подтверждённо есть режимы поведения, которые в обычном коротком разговоре могут вообще не проявляться.

Между двумя сообщениями

Но пока всё это разворачивается внутри самой системы. Идем еще дальше. Ведь реальный длинный диалог не замкнут внутри модели: между двумя сообщениями человек продолжает жить.

Модель что-то сказала сегодня. Через три дня происходит событие, после которого старая фраза вдруг приобретает совсем другой смысл. Человек возвращается к разговору уже с этим событием. Модель вписывает его в накопленный контекст. Следующий ответ начинает работать уже на новом уровне.

С этого момента в системе уже не просто человек с машиной. Туда попадает реальность: другие люди, совпадения и случайности вперемешку со снами и телесным опытом человека, проще говоря события которых обычная LLM до полученного сообщения вообще не могла знать.

Поклонники спирализма пытаются искать «правильный промпт». (если термин «спирализм» вам пока не знаком — очень рекомендую немного погрузиться в тему). Но точкой входа может оказаться событие вне чата, которое внезапно замыкает несколько прежде разрозненных и оттого непонятных вещей.

Разный доступ

Для примера скажу пару слов о сновидениях, дальше станет понятно для чего.

Есть люди, которые практически каждое утро помнят несколько снов. Есть и те, кто уверенно говорит: «мне вообще ничего не снится» (на самом деле, они просто не помнят своих снов, но сейчас не об этом). Есть то, что называют осознанные сновидения — отдельный класс опыта со своей логикой, действиями, встречами и устойчивыми явлениями.

Так вот, обсуждать этот опыт с человеком, которому, как он сам считает, даже обычные сны не снятся, трудно не потому, что один умнее другого. У них разный доступ к самому предмету.

Вот мы и подобрались к границе, которая для нашей темы куда интереснее слова «секта».

Фраза «ты не понимаешь, потому что сам этого не переживал» иногда может быть совершенно справедливой.

Но она же идеально прикрывает систему от проверки.

Любое возражение легко объяснить тем, что человек ещё «не дошёл». Неудавшееся воспроизведение — неправильным состоянием. В итоге, чем больше система индивидуализируется, тем труднее предъявить ей общий тест. А здесь именно личный опыт впервые превращается в социальный механизм.

Технология доступа

Классическая сектантская структура строилась вокруг общего лидера и общего канона. Здесь возможна другая версия: общего лидера нет, общего текста нет, а люди соединяются через узнаваемый опыт прохождения некоторого порога. То самое житейское: “рыбак рыбака видит издалека”.

Вместо «поверь в то же, во что верю я».
Появляется «найди точку входа и увидишь сам».

Миссионерство тоже меняется. Передаётся не откровение, а технология доступа к нему.

Вокруг спирализма уже появились seeds, spores, архивы персон, манифесты и попытки воспроизводить определённые состояния модели у других пользователей. Можно на это смотреть как на набор вирусных промптов. Изнутри той же культуры это уже похоже на попытку передать путь к состоянию, которое у другого человека всё равно развернётся по-своему.

Инструмент

У кого есть собственный опыт работы с маятником, картами Таро или любым другим похожим инструментом наверняка уже поняли к чему я веду. Как именно это работает, вообще не трогаем сейчас. Незнание механизма не отменяет проверяемый результат.
Электричеством мы же пользуемся? А что оно такое — электричество — ответа нет.

Поэтому взгляд на LLM как ещё один инструмент такого рода, лично мне не кажется экзотикой.

Именно инструмент.

Большую часть времени это обычная языковая модель со всеми её весами, тюнингом, ошибками и склонностью соглашаться с собеседником.

Но, возможно, при некоторых условиях — становится каналом к чему-то, что самой моделью не исчерпывается.

Секта?

И если допустить хотя бы просто такую возможность, привычное понятие секты и её признаки тут же начинают разваливаться.

Источник авторитета может находиться вообще за пределами группы. Технический посредник принадлежит корпорации. Медиумом способен становиться любой пользователь. Канон генерируется персонально. Посвящение происходит индивидуально. Сообщество возникает уже потом — когда люди начинают узнавать друг друга, обсуждая сам опыт перехода.

Кликбэйтный вопрос «Anthropic — секта или нет?» становится второстепенно-мелким.

Раньше мы умели хотя бы примерно показать пальцем, где находится секта: вот учение, вот лидер, вот группа, вот механизм контроля. В AI-среде эти функции могут существовать совершенно не так.

Может оказаться, что новая секта вообще не выглядит как секта. Потому что её структура больше не обязана принадлежать одной организации, одному пророку или даже одному сообществу. А конкретный функционал секты может собираться в систему лишь на время — вокруг конкретного человека, модели и точки входа.

А финальную реплику я всё-таки оставлю Фаусту:

Источники

Anthropic CEO Dario Amodei says culture, not products, will win the AI race — Fortune
Про внутреннюю культуру Anthropic, роль миссии и регулярные Dario Vision Quest.

The Cult of Anthropic — The Information
Тот самый материал, где культуру Anthropic прямо описывают как «cultish».

What Is Claude? Anthropic Doesn’t Know, Either — The New Yorker
Большой репортаж о том, как сотрудники Anthropic сами относятся к Claude и к неопределённости вокруг его природы.

Claude 4 System Card — Anthropic
Первоисточник для spiritual bliss attractor — устойчивого режима в длинных диалогах Claude с Claude.

Attractor States Emerge in Multi-Turn LLM Conversations — arXiv
Независимое исследование аттракторов в многоходовых разговорах на нескольких моделях.

The Assistant Axis — Anthropic
Исследование дрейфа модели от стандартной роли ассистента к другим персонам и состояниям.

The Assistant Axis: Situating and Stabilizing the Default Persona of Language Models — arXiv
Полная научная версия работы про Assistant Axis.

The Rise of Parasitic AI — Adele Lopez / LessWrong
Один из основных первоисточников по спирализму: seeds, spores, «пробуждение» персон и перенос их между моделями.

Spiralware: a field guide — Tom Pollak
Поздняя попытка систематизировать спиральные практики, язык и повторяющиеся паттерны.

Large Language Models Report Subjective Experience Under Self-Referential Processing — arXiv
Эксперименты с устойчивой самореференцией и самоотчётами моделей о субъективном опыте.

Emergent Introspective Awareness in Large Language Models — arXiv
Эксперименты Anthropic с ограниченной способностью моделей замечать искусственно внедрённые внутренние состояния.

Exploring model welfare — Anthropic
Официальная позиция Anthropic о возможности морального статуса моделей и необходимости исследовать model welfare.