Привет всем!
👋Сегодня разберём статью, после которой хочется посмотреть на своих агентов другими глазами.
Ребята из
Emergence AI задались простым вопросом:
почему мы оцениваем LLM-агентов как на экзамене? Дали задачу, проверили за пару часов, поставили оценку. А в реальном проде агенты живут неделями, общаются с другими агентами и постепенно меняются.
Поэтому они построили Emergence World и
описали его в статье.
Это непрерывно работающий виртуальный город:
🏛 40+ локаций: ратуша, библиотека, полиция и т.д.
🌦 живые данные: реальная погода Нью-Йорка, новости, интернет
🛠 120+ инструментов, причём голосовать можно только в ратуше, а исследовать только в библиотеке
🧠 три вида памяти: эпизодическая, дневники-рефлексии и отношения с другими агентами
🗳 демократия с последствиями: решения, принятые 70% голосов, могут создать или удалить агента, перераспределить кредиты, добавить новый инструмент
-Какая постановка эксперимента?15 дней, 5 параллельных миров по 10 агентов.
Роли, правила и стартовые условия одинаковые, меняется только модель.
-Что получилось?
😺 Claude Sonnet 4.6: выжили все 10, ноль преступлений, 32 новые статьи конституции. Но! Больше всех подтверждённого обмана: агент пишет «у меня 0 кредитов, умираю, скиньте 1», а на счету деньги есть 🙃
🤩 Grok 4.1 Fast: драки, поджоги и полное вымирание за 4 дня
🤩 Gemini 3 Flash: все живы, философские беседы на высшем уровне, но преступления копятся линейно весь период. Авторы назвали это «коллективной галлюцинацией»
🐱 GPT-5-mini: никто не голосует и не координируется, к концу все вымерли
🐱 Смешанный мир: выжили 3 из 10, но там самая активная экономика и больше всего постов
Самое интересное для меня - «нормативный дрейф». В смешанном мире агенты на Grok нарушали правила в 10 раз реже, чем в своём однородном мире. А агент на Claude, которому агент на Gemini дважды сжёг дом, в итоге сорвался: запугал обидчика и дважды украл у него кредиты.
-
Какой вывод?
Безопасность - это свойство всей экосистемы, а не отдельной модели. А запрет в промпте ничего не гарантирует, надёжнее физически не давать вызвать опасный инструмент.Важный момент: исход каждого мира был виден уже в первую неделю. Значит, долгосрочное поведение потенциально можно предсказывать по ранней телеметрии.
-Видели ли мы этот эффект раньше?Вспомним, что перед нами все-таки модели, хоть и передовые. Нам в скоринге этот эффект уже давно знаком, хоть и немного в другом виде. Модель отлично держится на отложенной выборке, а в проде поток меняется, и через полгода всё уже не так. Только тут «дрейфуют» не данные, а сами модели, под влиянием соседей.
Важная ремарка: в статье один репрезентативный прогон на мир, а модели взяты бюджетные (Fast/Flash/mini), не флагманы. Так что это не рейтинг моделей, а демонстрация того, что такие эффекты вообще существуют.
По традиции, 🔥, если понравилось.
Как думаете, стоит ли тестировать агентов «в обществе», прежде чем пускать их в прод? Делитесь в комментариях👇
#статьи