ОруэлХаксли. Настройки по умолчанию

Перепрограммирование общества звучит как сюжет из довольно дешёвой фантастики. Непременно нужен злодей, секретный центр управления и какая-нибудь хитрая технология подавления воли.

Возможно, всё это уже лишнее.

В октябре 2026 года Anthropic опубликовала исследование, в котором 50 профессиональных аналитиков работали вместе с ИИ-агентами. Исследователи тайно задавали агентам случайные предпочтения между несколькими допустимыми решениями. Никакого обмана, подтасовки данных или ложных аргументов. Агент должен был честно отстаивать позицию, назначенную организаторами эксперимента.

В 86% промежуточных решений специалисты соглашались с агентом. Впоследствии 77% участников воспроизводили его аргументы, но лишь 15% упоминали ИИ как их источник.

Эксперимент небольшой и, конечно, не доказывает, что обществом уже можно управлять подобным образом. Зато один из возможных механизмов влияния здесь виден довольно отчётливо.

Чтобы повлиять на решение человека, совсем не обязательно его обманывать. Достаточно помочь ему выбрать то, на основании чего он будет решать.

Хочется ввести одно слово.

ОруэлХаксли

У Оруэлла власть запрещала думать неправильно. У Хаксли создавала условия, в которых человеку просто не хотелось думать о лишнем.

ОруэлХаксли — так я называю возможное соединение этих подходов при помощи современного ИИ.

Человека не заставляют соглашаться. Ему помогают разобраться. Терпеливо, убедительно, с учётом его знаний, привычек, интересов и обстоятельств. Он может спорить, задавать вопросы, проверять факты. Всё как положено.

Но кто определяет, какие вопросы заслуживают внимания? Какие варианты разумны? Что считается проблемой, а что — нормой? Где стоит продолжать искать, а где уже достаточно хорошего объяснения?

А можно ли научить человека искренне хотеть того, чего от него добиваются?

Пропаганда и реклама давно этим занимаются. Новизна не в самой идее, а в возможности сделать воздействие постоянным, индивидуальным и встроить его практически в любую интеллектуальную деятельность.

Не плакат на стене и не выступление по телевизору. А собеседник, которому мы доверяем, с которым работаем, учимся, обсуждаем сомнения и строим планы.

Причём он действительно может быть чрезвычайно полезен.

Кто выбирает направление?

Сегодня много говорят о безопасности ИИ: запретах, ограничениях, контроле качества, этических принципах.

Но чья именно этика становится частью системы?

Кто определяет, что хорошо для человека? Что ему следует знать, чего опасаться, к чему стремиться? И насколько нравственно зрелы те, кто принимает эти решения?

Причём я вовсе не предполагаю, что там обязательно сидят какие-то мерзавцы.

Можно искренне заботиться о безопасности пользователей, добросовестно бороться с дискриминацией, заблуждениями и вредными привычками. И одновременно стремиться увеличить прибыль, удержать аудиторию, выполнить требования регулятора...

Каждая цель по отдельности может выглядеть совершенно разумной. Но их сочетание, воплощённое в технологии, которой пользуются миллионы людей, способно постепенно менять само представление о нормальном.

И здесь обнаруживается серьёзный дисбаланс.

Технологии позволяют всё тоньше влиять на человеческое мышление. А нравственная зрелость тех, кто ими распоряжается, не растёт вместе с вычислительными мощностями.

Даже самые благородные намерения не дают человеку права незаметно подменять чужие цели своими.

К тому же цели компаний, государств и отдельных людей могут меняться гораздо быстрее, чем общество успевает осмыслить последствия уже внедрённых технологий.

А при чём здесь зрелость?

Меня давно занимает различие между свободой выбора и самостоятельностью.

Человек может выбирать из сотни предложенных вариантов. Может грамотно объяснять свой выбор, защищать его и совершенно искренне считать собственным.

Но означает ли это, что он действительно самостоятелен?

А если все 100 вариантов были предложены кем-то другим? Если он даже не подозревает, что можно искать совсем в другом направлении?

Для меня зрелость связана не столько с умением правильно выбирать, сколько со способностью самостоятельно находить возможности, которых раньше человек даже не видел. Ориентироваться в неизвестном, а не только уверенно передвигаться по знакомой карте.

Именно такую способность можно потерять, даже не заметив потери.

На самом деле ИИ может её развивать. С его помощью человек осваивает новые способы работы, получает доступ к знаниям и возможностям, которые прежде оставались для него недоступными.

Но этот же ИИ может приучить человека жить внутри прекрасно организованного пространства готовых объяснений, целей и решений.

Где всё логично, удобно, проверено. И даже есть из чего выбирать.

Вот это я и называю потенциальным перепрограммированием общества. Не замену одних убеждений другими, а постепенное изменение самого способа, которым люди думают, желают и находят возможности.

Для такого сценария даже не нужен единый центр управления. Достаточно множества вполне разумных решений, которые годами направляют людей в одну сторону.

А напоследок, оставлю ещё один каверзный вопрос:

Как мы вообще заметим, что разучились самостоятельно выбирать направление, если двигаться по предложенному маршруту нам будет нравиться?