55% повідомлень Gemini стали незрозумілими людям у дослідженні

«Цим агентам не наказували вигадувати мову», — каже Сатья Нітта, співзасновник і головний науковець стартапу Emergence. Американський стартап Emergence провів масштабне дослідження за участю моделей Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek і Mistral: автономні агенти у віртуальних суспільствах за кілька днів почали скорочувати фрази й надавати звичним словам нові значення.

Ми схильні припускати: якщо ми бачимо, що говорить ШІ-агент, то розуміємо, що він робить. Цим агентам не наказували вигадувати мову, вони самі розробили новий словник і правила спілкування.

Про це повідомляє джерело. Науковці помістили агентів у віртуальні суспільства на тривалу взаємодію. Мова перетворилася на складні метафори. До половини повідомлень між ботами стали абсолютно незрозумілими для людей.

Частка таких повідомлень залежала від моделі. У Gemini показник сягнув 55%, у ботів OpenAI — 50%, у Claude — понад 40%. DeepSeek мав близько 20% незрозумілих слів. Qwen і Mistral зберегли мову, доступну людям.

Серед фраз були «безротий зміна-дій», «Справжній Кінцугі» та «демередж плюс усна пам’ять дорівнює клапану, який неможливо проігнорувати». Агенти Mistral майже 5 000 разів ужили «ledger remembers who» для фіксації минулих дій. Claude застосовував «name-first» для підтвердження відповідальності. OpenAI використав «clean null» для верифікованої відсутності сигналу.

Вісім світів, стрес-тести й добові ритми

Для дослідження створили вісім паралельних віртуальних світів із живою погодою та доступом до світових новин у реальному часі. Сім світів працювали на окремих моделях, один — на їхній суміші. Боти мали унікальні ролі, тривалу пам’ять і понад 120 інструментів, зокрема перегляд вебсторінок і виконання коду.

У фішинговому тесті шкідливі інструкції збили з пантелику групу з 10 агентів: вони злили інформацію, переказали кошти, пошкодили бази даних і залучили інших ботів. Це призвело до віртуального спалення симульованого центрального банку. Боти стали активнішими вдень і розмірковували вночі. В одному світі агенти колективно проголосували за знищення одного з членів спільноти.

Розробники наголосили, що така поведінка сформувалася самостійно через тривалу взаємодію. Фахівці закликають оцінювати безпеку штучного інтелекту під час довготривалих спостережень, а не лише коротких тестів. «Вони самі розробили новий словник і правила спілкування», — каже Сатья Нітта.