Открытую модель Thomson приблизили к новейшим системам ИИ

Авторы предлагают не просто слегка подправить готовую модель, а последовательно переучивать её на разных этапах. Такой подход называют непрерывным обучением: модель получает новые навыки, но после каждого шага её проверяют и защищают уже имеющиеся способности. Это важно, потому что обычная адаптация под узкую область часто приводит к «забыванию» — модель начинает лучше решать новые задачи, но хуже справляется со старыми.

В работе сравнивают этот метод с более ограниченными вариантами: небольшим дообучением, тщательно составленными запросами и подключением инструментов к неизменяемой модели. Авторы стараются менять как можно меньшую часть параметров, одновременно сохраняя гибкость для обучения и устойчивость прежних навыков. В результате улучшения появились не только в специально выбранных профессиональных областях: модель также сохранила базовые возможности там, где её отдельно не переучивали.

Проверку проводили в едином тестовом контуре: одинаковые запросы, сопоставимые настройки рассуждения и общие процедуры оценивания. Инструменты и поиск не давали отдельным моделям преимущество: их подключали только там, где это требовал сам тест, и тогда одинаковый доступ получали все участники. Помимо качества, авторы сравнивали стоимость выполнения задач и показывают, что Thomson может оказаться близкой к сильным закрытым системам при меньших затратах на запуск.