Активное обучение ускоряет поиск уравнений в очень малых данных

Авторы взяли идею SINDy — метод, который пытается восстановить уравнение по данным, — и добавили к ней активный выбор точек. Проще говоря, вместо того чтобы собирать данные наугад, модель сначала оценивает, где ей особенно не хватает информации, и просит добрать именно такие участки. Для этого они используют не одну модель, а ансамбль из нескольких вариантов: если эти модели сильно расходятся в ответах, значит, там есть полезная неопределённость, и такую точку стоит добавить в обучение.

Задача была в том, чтобы понять, можно ли искать уравнение системы, когда данных совсем мало и каждый новый замер дорогой. Это особенно важно для сложных динамических систем, где случайная выборка часто тратит бюджет на «скучные» области, которые почти ничего не говорят о поведении системы. Поэтому авторы проверили подход не только на одном типе задач, а на уравнениях разного рода: для обычных дифференциальных уравнений взяли систему Лоренца, а для уравнений в частных производных — Бюргерса и Куромото—Сивасинского.

Самое интересное тут не просто в том, что метод работал, а в том, где именно он выигрывал. Для Лоренца оказалось важным брать точки не только рядом с аттрактором, то есть с областью, где траектории обычно крутятся, но и снаружи него — это помогало лучше поймать хаотичную динамику. Для уравнения Бюргерса особенно полезными были области около резкого фронта, где изменения самые сильные. А для Куромото—Сивасинского, где информация распределена более размазанно по всему полю, активный выбор тоже помогал, но уже без такого ярко выраженного локального «горячего пятна».

Ещё один важный вывод: активное обучение не даёт магии в любой задаче. Оно особенно полезно там, где есть смесь информативных и почти бесполезных областей. Если же вся область ведёт себя примерно одинаково, выигрыш от умного выбора точек становится куда скромнее.