Названия действий меняют поиск ИИ: помогают при верной подсказке и мешают при ошибочной

Авторы придумали вариант классической задачи «многорукого бандита»: у агента есть несколько действий, и он должен понять, какое из них приносит больше награды. Новшество в том, что действия обозначают не безликими номерами, а словами. Так можно отделить собственно обучение по результатам от влияния смысла, который модель заранее связывает с этими словами.

Исследователи сравнили несколько типов названий: нейтральные буквенно-цифровые метки, порядковые обозначения, слова из обычного мира и названия с эмоциональной окраской. Затем они посмотрели, сколько раз модель пробует разные варианты, прежде чем остановиться на одном. Для ориентира использовали поведение классического алгоритма UCB1 — математического правила, которое специально удерживает баланс между проверкой новых вариантов и выбором уже известного лучшего.

Самый показательный результат появился в задаче без случайного шума: после проверки действия его награда не менялась. Даже здесь смена одних только названий могла перевести модель от почти оптимального поведения к почти худшему. Нейтральные метки чаще давали поведение, похожее на обычный алгоритм поиска, а смысловые метки подталкивали модель сразу использовать «понятный» вариант. Это помогает, когда смысл названия совпадает с настоящей наградой, и становится ловушкой, когда совпадения нет.

Отдельно авторы заметили, что одинаковые по величине отрицательные и положительные награды действуют на модель по-разному: отрицательные сильнее заставляют её возвращаться к проверке других действий. Авторы связывают это с тем, как в обучающих текстах обычно описывают хорошие и плохие исходы, но подчёркивают практический риск: тесты с естественными, удачно подобранными названиями могут завышать оценку системы, потому что она угадывает по смысловым подсказкам, а не действительно исследует среду.