Что делает краулер
Краулер обходит сайт по ссылкам, как это делает робот поисковой системы, и собирает данные о каждой странице: код ответа, заголовки, канонический адрес, ссылки, размер и многое другое. Результат — таблица, по которой ищут ошибки: битые ссылки, цепочки перенаправлений, дубли заголовков, страницы-сироты.
Три типа инструментов
| Тип | Плюсы | Минусы |
|---|---|---|
| Настольная программа | Быстрая настройка, полный контроль, разовая или подписочная оплата | Ограничена ресурсами компьютера на больших сайтах |
| Облачный сервис | Большие объёмы, расписание, история, совместная работа | Подписка, меньше гибкости, данные в чужом сервисе |
| Собственный скрипт | Максимальная гибкость и автоматизация | Нужны навыки разработки и поддержка |
По каким критериям выбирать
- Размер сайта. Небольшие сайты хорошо обходятся настольной программой, для сотен тысяч страниц нужен облачный сервис или мощный компьютер.
- Обработка JavaScript. Если содержимое формируется скриптами, краулер должен уметь выполнять их: индексация страниц, созданных JavaScript.
- Гибкость настройки. Ограничение скорости, исключения по шаблонам, пользовательский агент, авторизация.
- Отчёты и экспорт. Готовые отчёты по типовым проблемам и удобная выгрузка в таблицу.
- Сравнение обходов. Возможность сопоставить два обхода: до и после правок.
- Расписание и оповещения. Для постоянного мониторинга.
Какие бывают инструменты
Среди настольных программ известны Screaming Frog SEO Spider, Netpeak Spider и Sitebulb; среди облачных сервисов — JetOctopus, OnCrawl, Botify и другие. Функции, ограничения и цены меняются, поэтому перед покупкой проверяйте актуальные условия на сайтах разработчиков и пробуйте бесплатные версии, если они есть.
Как выбрать под задачу
| Задача | Подходящий выбор |
|---|---|
| Разовый аудит небольшого сайта | Настольная программа |
| Регулярный мониторинг крупного магазина | Облачный сервис с расписанием |
| Нестандартная проверка (например, специфические правила) | Собственный скрипт |
| Проверка сайта на JavaScript | Инструмент с режимом выполнения скриптов |
| Проверка серверных правил и переездов | Любой краулер с сравнением обходов |
Ограничения любого краулера
- Он видит сайт так, как видит его сам: без данных поисковой системы о том, что попало в индекс.
- Не находит страницы, на которые нет ссылок: для них нужны журналы и карта сайта: поиск сирот.
- Может создавать нагрузку на сервер: скорость обхода нужно ограничивать: сканирование большого сайта.
- Выдаёт много данных, из которых нужно выбрать важное: пример аудита перелинковки.
Сочетайте источники. Краулер, журнал сервера и данные панелей вебмастеров дополняют друг друга: что видит робот на странице, проверка URL краулером.
Частые вопросы
Чем настольный краулер отличается от облачного?
Настольный работает на вашем компьютере и подходит для небольших и средних сайтов, облачный обрабатывает большие объёмы и работает по расписанию.
Нужен ли краулер, выполняющий JavaScript?
Да, если содержимое или ссылки на сайте формируются скриптами: обычный краулер увидит только исходный HTML.
Как выбрать краулер для крупного магазина?
Ориентироваться на объём обхода, расписание, сравнение обходов и настройку скорости: обычно это облачные сервисы или мощные настольные программы.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.