Защита от парсеров без вреда для поисковых систем

Чем автоматический парсер отличается от поискового робота

Формально оба типа посетителей автоматически обходят страницы сайта без участия человека, но цели принципиально разные: поисковый робот индексирует контент для показа в результатах поиска, тогда как парсер чаще всего копирует данные — цены, описания, изображения — для стороннего использования, зачастую недобросовестного.

Как достоверно проверить, что запрос действительно от Яндекса или Google

User-Agent легко подделать, поэтому единственный надёжный способ отличить настоящего робота поисковой системы от маскирующегося под него парсера — обратный DNS-запрос по IP-адресу с последующей прямой проверкой, что полученное имя хоста действительно принадлежит соответствующей поисковой системе.

1. Обратный DNS по IP запроса → получаем имя хоста
2. Прямой DNS по этому имени → сверяем, что IP совпадает с исходным
3. Только при совпадении обоих шагов запрос можно считать настоящим роботом

Распространённые методы защиты и риск задеть индексацию

Блокировка по частоте запросов с одного IP, капча при подозрительной активности, ограничение доступа по географии — каждый из этих методов способен случайно затронуть и легитимного робота, если настроен без учёта верификации, описанной выше, что напрямую бьёт по доступности сайта для индексации.

Практика внесения проверенных роботов в белый список

Разумный подход — заранее внести диапазоны подтверждённых через обратный DNS адресов основных поисковых систем в исключения любой системы защиты от ботов, чтобы новые правила антибот-фильтра применялись только к остальному, неподтверждённому трафику.

Официальные источники диапазонов IP-адресов поисковых систем

И Яндекс, и Google публикуют официальную документацию с рекомендациями по верификации собственных роботов, включая актуальные диапазоны используемых IP-адресов, — обращение именно к этим официальным источникам при настройке белых списков надёжнее, чем ориентация на устаревшие или неофициальные подборки адресов, найденные в сторонних материалах.

Поведенческие признаки, отличающие парсер от обычного посетителя

Помимо проверки IP-адреса, о работе автоматического парсера часто свидетельствуют косвенные признаки — аномально высокая скорость перехода между страницами, отсутствие характерных для браузера заголовков, обращение сразу к внутренним техническим адресам без предварительного захода на главную страницу сайта, как это обычно происходит у живого посетителя.

Правовой аспект защиты содержимого сайта от копирования парсерами

Технические меры защиты стоит рассматривать как дополнение, а не замену юридической защиты уникального контента сайта — при выявлении систематического недобросовестного копирования данных дополнительно может иметь смысл использование правовых механизмов защиты авторских прав на оригинальные материалы и структуру сайта.

Тестирование новых правил защиты перед их полноценным включением

Перед активацией нового правила защиты от ботов в боевом режиме разумно сначала запустить его в тестовом режиме наблюдения без реальной блокировки, чтобы убедиться на реальном трафике за несколько дней, что среди предполагаемых нарушителей не оказывается подтверждённых поисковых роботов.

Использование репутационных баз данных как дополнительного источника решений

Помимо собственной верификации через DNS многие современные системы защиты от ботов опираются и на постоянно обновляемые репутационные базы данных IP-адресов, ранее замеченных в недобросовестной автоматической активности, что позволяет на практике снижать число ложных срабатываний при сохранении высокого уровня защиты.

Частые вопросы