Симуляция долгой жизни помогла ИИ лучше проходить ролевые бенчмарки

Авторы не просто «покормили» модель ещё одним набором текстов, а устроили для неё длинную виртуальную жизнь. Они собрали среду, где 100 агентов живут сами по себе: строят отношения, решают бытовые и социальные задачи, пытаются чего-то добиться и при этом существуют не несколько дней, а целых 10 виртуальных лет. Это важно, потому что раньше такие симуляции обычно были короткими — на уровне дней — и не успевали показать, как в обществе накапливается опыт.

Чтобы понять, что считать успешной жизнью в такой среде, исследователи ввели life reward — простую оценку благополучия агента. По сути, это попытка измерить не только «выжил или нет», а насколько жизнь в симуляции складывается удачно: есть ли признание со стороны других, чувство удовлетворённости и экономический успех. Затем они использовали эту оценку для обучения языковой модели через rejection sampling — метод, где из множества вариантов выбирают более удачные примеры и по ним подстраивают модель.

Самый интересный результат в том, что после такого обучения модель стала лучше не только внутри симуляции, но и на внешних ролевых тестах. Особенно выросли навыки, связанные с «человечностью» поведения: точнее передавать манеру роли, лучше держаться в образе и выглядеть более антропоморфной. То есть длинная социальная жизнь в искусственном мире дала модели не просто новые факты, а более естественный стиль поведения в ролевых сценариях.