В англоязычных снимках веба доля «подлинных» вопросов снизилась на 79%

Авторы сначала отделили отдельные появления вопроса на странице от уникальных формулировок. Это важно: одна и та же фраза могла много раз появиться на разных сайтах, и тогда большой счётчик говорит скорее о массовом копировании, чем о большом числе людей с таким вопросом. Перед подсчётом текст привели к единому виду: убрали различия в регистре, пробелах и краевых знаках, а затем сравнивали данные внутри каждого снимка веба, не складывая показатели между снимками.

Чтобы отличить вопросы пользователей от заготовок, исследователи использовали сведения о сайте и окружении вопроса. Модель смотрела на длину фразы и соседний текст, но не на сам тип вопросительного слова. Она различала две группы лучше случайного угадывания, однако до надёжного определения намерения человека ей далеко. При сравнении с коммерческими FAQ результат оказался заметно слабее — такой стиль текстов труднее отделить от настоящих пользовательских вопросов.

Отдельно авторы проверили, как менялась картина со временем. Они обнаружили не просто рост числа шаблонов, а сокращение длины вопросов и окружающего контекста. При этом «подлинность» здесь означает принадлежность к форумам и другим площадкам с общением между людьми по правилам классификатора, а не подтверждённое намерение конкретного автора. Поэтому работа показывает изменение состава доступного для обхода веба, но не напрямую измеряет, сколько людей действительно хотели получить ответ.