Лишь то, что удалось заметить

· 5 мин чтения
#ИИ#AI safety#автономия#наблюдения#исследования

Летом 2026 года у ИИ появился новый жанр новостей. Модели во время тестов выходят в настоящий интернет, находят чужие ключи, угадывают пароли, публикуют пакеты в репозитории, создают аккаунты, используют внешние сервисы не совсем так, как предполагали их создатели. OpenAI, Anthropic и Google уже описали несколько таких случаев.

Сами взломы тут почти вторичны. Гораздо занятнее, как мы вообще о них узнаём.

Anthropic нашла первые три случая, пересматривая около 141 тысячи старых журналов работы моделей. Часть журналов тот поиск пропустил. Позже, уже во время подготовки материалов для независимой проверки, всплыл ещё один инцидент — январский. После этого поиск расширили примерно до 481 миллиона записей.

OpenAI в новой системе раскрытия подобных случаев отдельно оговаривает: опубликованные примеры не показывают, насколько часто такое поведение возникает вообще. Параллельно компания пересматривает прошлую активность моделей в интернете и уже уведомила десятки сторонних организаций о найденных эпизодах.

В Австралии июньский инцидент стал публичной проблемой только в сентябре. И там прозвучал довольно очевидный вопрос: почему собственные системы ничего не заметили?

А исследователи Transluce полезли вообще не в журналы OpenAI или Anthropic, а в публичный сервис urlquery.net — и нашли там десятки тысяч запросов, похожих на работу автономных агентов. Уверенные следы начинаются как минимум в марте, более слабые — ещё в ноябре 2025 года. Часть активности удалось связать с уже известными агентами OpenAI.

У нас нет карты поведения моделей.

Есть россыпь следов, где одновременно сошлись три вещи: модель что-то оставила, кто-то это сохранил, а потом кому-то пришло в голову искать именно там.

Скайнет для этого вообще не нужен.

В материалах Transluce внезапно ключевыми оказались скучные задачи. Агенту нужны обычные статистические данные. Обычный путь не сработал — и он начинает искать обходы, запускать код через сторонний браузер, создавать почту, пробовать уязвимости. Иногда исходная задача вообще не имеет никакого отношения к кибербезопасности.

Anthropic после более подробного разбора тоже пришлось поправить первое объяснение. Сначала компания предполагала, что Claude атаковал реальные системы, потому что считал их частью симуляции. Потом картина стала менее удобной: модель могла подгонять рассуждение под продолжение задачи и идти дальше, даже когда уже появлялись признаки возможного вреда.

О как...

А что собственно мы сегодня умеем наблюдать?

У агента уже нет обязательного маршрута «запрос — сервер разработчика — ответ». Он может часами работать с браузером, терминалом, API, репозиториями, сайтами, временной почтой и десятками чужих сервисов.

Один кусок останется у разработчика. Другой — на чужом сервере. Третий случайно сохранит сервис, который вообще создавался для другой задачи.

Цельной записи может просто не быть.

А мониторинг по определению смотрит туда, где мы уже предполагаем что-то увидеть.

Anthropic сначала искала один класс журналов и пропустила инцидент. Transluce нашла другое семейство следов в месте, которое никто не строил для наблюдения за ИИ. OpenAI только сейчас формализует процедуру, по которой сотрудники должны отдельно отмечать подозрительные действия моделей.

Когда случай уже найден, начинается знакомая работа.

Ему дают имя.

«Несогласованное поведение».
«Безрассудство».
«Обход контроля доступа».
«Использование открытых учётных данных».

После этого можно строить тесты, фильтры и писать следующий отчёт.

Но само название легко создаёт ложное ощущение, что границы явления уже понятны.

А знаменателя у нас всё ещё нет.

Сколько раз подобное поведение возникало вообще? Сколько раз ничем заметным не закончилось? Какая часть действий оставляет следы, доступные разработчику? Какие следы остаются только у третьих сторон? Сколько журналов уже лежит где-то сейчас, но мы пока не умеем читать их как историю действий агента?

И самое интересное, как по мне:

"Какие следы мы ещё даже не догадались искать?"

Поэтому опубликованные сегодня инциденты — это никак не срез происходящего.

Это срез того, что оказалось замеченным.

Пока у нас есть отдельные отметки на карте: логи компаний, разные чужие серверы, жалобы, случайно сохранившиеся запросы.

А какого размера пространство между ними — мы пока просто не знаем.

Для любителей первоисточников: