Препринт — материал ещё не прошёл рецензирование
Детектор GEO-страниц повысил точность на тесте
Кратко
Авторы собрали набор из 3200 веб-страниц и обучили детектор замечать тексты, специально изменённые ради попадания в ответы поисковиков с ИИ. На созданной проверке качество детектора выросло с 0,862 до 0,944, а для самой сложной группы страниц — с 0,725 до 0,883. В отдельной проверке 10 095 страниц признаки такой оптимизации нашли примерно у 8,90%, но эта доля рассчитана самим детектором и может содержать ошибки.
Зачем это знать
Такой инструмент может помочь оценивать, насколько часто в поисковой выдаче встречаются страницы, подготовленные для генеративного поиска, и проверять надёжность их источников. Но результаты пока нельзя переносить на весь интернет.
Разбор
Авторы проверяли не только общий результат детектора, но и то, не учится ли он узнавать случайные особенности авторов или источников вместо самой GEO-оптимизации. Поэтому страницы, связанные с одним и тем же запросом, целиком отправляли либо в обучение, либо в проверку. Так тест показывал, умеет ли система работать с новыми запросами, а не просто запоминать похожие тексты. На исходных методах нашли заметную зависимость от таких обходных признаков, из-за чего хорошая средняя оценка могла скрывать провалы на отдельных группах страниц.
Главная идея нового обучения — показывать детектору пары изменений: настоящую правку ради попадания в ответы ИИ и обычную полировку текста с помощью ИИ, которая сама по себе не означает GEO. Это помогает не путать «текст отредактировал искусственный интеллект» с «текст специально подстроили под генеративный поиск». Отдельно авторы собрали систему-аудитор: если страница выглядит оптимизированной, она проверяет качество уровня источника и возможность подтвердить ссылки, на которые страница ссылается.
Затем всю связку применили к ссылкам из обычного Google Search и поисковой выдачи Gemini для 1000 запросов реальных пользователей. Для этого использовали исторический набор запросов Bing, а не свежий случайный срез всего интернета. Так авторы получили первый практический способ одновременно искать признаки GEO и проверять источники таких страниц, но сами признают: без ручных меток в живых данных система даёт оценку, а не точный переписной результат.
Ключевые цифры
Можно ли доверять
Это препринт на arXiv, поэтому независимая рецензия ещё впереди. Тест на новых запросах и сравнение с обычной ИИ-полировкой усиливают работу, но аудит живых страниц опирается на предсказания детектора и исторические запросы, поэтому оценки распространённости могут содержать ошибки и не описывают весь интернет.
Пересказано ИИ по научной статье. Как это устроено