dumaiTAHOE улучшает Text-to-SQL без дообучения модели
Препринт, ещё не рецензирован · ранние данные
Кратко
TAHOE — это препринт-система для Text-to-SQL, которая собирает подсказки из прошлых ошибок в отдельный Hint Bank. На бенчмарке Spider 2.0-Snow-0212 на 113 размеченных примерах с GPT-5.5 она повышала долю успешных ответов и проход по синтаксису Snowflake без изменения параметров модели.
Зачем это знать?
Это показывает, что часть улучшений в Text-to-SQL можно получать за счёт работы с подсказками и опытом ошибок, а не только через дообучение. Но результат пока относится к препринту и тесту на бенчмарке, поэтому его стоит рассматривать как перспективный подход, а не как готовый производственный стандарт.
Разбор
Авторы не пытались заново учить модель на примерах SQL — вместо этого они сделали «банк подсказок», куда складывали то, что помогало исправлять прошлые ошибки. Идея простая: если модель каждый раз спотыкается о похожие вещи, можно не менять её весы, а научиться быстро доставать нужную подсказку по ситуации. Для этого они разделили опыт на два типа: синтаксические подсказки про правила конкретного диалекта SQL и смысловые подсказки про логику схемы и предпочтения пользователя.
Дальше они добавили ещё один слой — как бы карту конкурирующих стратегий. Это нужно потому, что одна и та же фраза пользователя может вести к разным вариантам запроса, а прошлый успех не всегда одинаково полезен в новой задаче. Поэтому система не просто хранит подсказки, а ещё помечает, что из прошлого действительно сработало, что навредило, а что оказалось бесполезным. На этапе ответа она сначала строит план рассуждения, а уже потом собирает SQL-запрос.
Проверяли это на Spider 2.0-Snow-0212 — наборе задач, который специально сделан похожим на корпоративную среду: сложные схемы, много таблиц и строгий вариант SQL от Snowflake. Важный нюанс: авторы сосредоточились на фазе разработки, то есть на сценарии, где есть разметка и можно накапливать подсказки из правильных ответов. Полноценное обучение на живой обратной связи от пользователей они пока оставили на будущее.
Ещё один полезный момент: банк подсказок, собранный сильной моделью, перенёсся и на более слабые модели. То есть выигрыш получился не только за счёт самой мощной LLM, а за счёт того, как организовали опыт прошлых ошибок и повторное использование удачных подсказок.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, так что работу ещё не проверяли независимые рецензенты. Сильная сторона — они тестировали систему на реальном и довольно сложном бенчмарке, а не только на игрушечных примерах, но основная оценка всё же шла на 113 размеченных задачах. Кроме того, авторы сами пишут, что полноценную фазу обучения на пользовательской обратной связи ещё не реализовали, поэтому до промышленного использования тут есть расстояние.
- Preprint, not peer reviewed.
- Evaluation is on a benchmark and a 113-example supervised subset, with the deployment-time learning workflow left for future work.
- Results are primarily for GPT-5.5, though the Hint Bank also transferred to weaker backbones.
Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено