Что делает краулер
Программа стартует с главной страницы, находит все ссылки, переходит по ним, повторяет процесс и записывает по каждому адресу: код ответа, заголовок, описание, заголовок H1, канонический адрес, размер, время ответа, откуда на него ссылаются.
На выходе получается таблица со всеми страницами сайта — по ней и ведётся анализ.
Подготовка к сканированию
- Определите, что сканируете: весь сайт, один раздел или список конкретных адресов.
- Решите, учитывать ли robots.txt. Для аудита полезно прогнать оба варианта: с учётом и без — так видно, что реально закрыто.
- Ограничьте скорость, если сайт на слабом хостинге: агрессивное сканирование может его перегрузить.
- Запускайте в нерабочее время, чтобы не влиять на посетителей и не искажать аналитику.
Что смотреть в первую очередь
| Отчёт | Что искать |
|---|---|
| Коды ответа | Все адреса с 3xx, 4xx и 5xx |
| Редиректы | Цепочки длиннее одного шага и петли |
| Заголовки title | Дубли, пустые, слишком длинные |
| Описания | Дубли и отсутствующие |
| Заголовки H1 | Отсутствующие и множественные |
| Канонические адреса | Указывающие на редиректы и чужие страницы |
| Глубина | Страницы дальше четвёртого уровня |
Анализ самих адресов
Выгрузку адресов удобно разобрать в таблице. Что проверять фильтрами:
- Заглавные буквы в пути — источник дублей из-за регистра.
- Смешанный формат слэша — часть адресов с ним, часть без.
- Параметры в проиндексированных адресах.
- Кириллица и процентные коды.
- Спорные сочетания
shch,kh,ts— признак чужой таблицы транслитерации. - Длина больше сотни символов.
- Числовые суффиксы вида
-2в конце — следы повторов. - Идентификаторы вместо слов.
Краулер видит не всё. Он находит страницы по ссылкам. Если на страницу не ссылается ничего, в отчёт она не попадёт. Поэтому результат сканирования дополняют выгрузкой из карты сайта и списком адресов из панели вебмастера — расхождения между тремя списками сами по себе информативны.
Сравнение трёх списков
| Расхождение | О чём говорит |
|---|---|
| Есть у краулера, нет в карте сайта | Карта неполная |
| Есть в карте, не найдено краулером | Страница-сирота, на неё нет ссылок |
| Есть в индексе, нет у краулера | Страница доступна, но не связана с сайтом |
| Есть у краулера, нет в индексе | Проблема с индексацией или качеством страницы |
Второй и третий пункты особенно важны: страницы-сироты получают минимум веса и обходятся редко.
Как часто сканировать
- После любых структурных изменений — обязательно.
- После обновления CMS или шаблона — обязательно.
- Плановая проверка — раз в квартал для обычного сайта.
- Крупный каталог — раз в месяц, хотя бы по разделам.
Порядок исправлений
Отчёт краулера обычно содержит сотни строк, и браться за всё сразу бессмысленно. Приоритеты:
- Ошибки 5xx — сайт частично не работает.
- Битые ссылки на страницах с трафиком.
- Цепочки редиректов и петли.
- Дубли: одинаковые заголовки и адреса-близнецы.
- Неверные канонические адреса.
- Пустые и дублирующиеся описания.
- Косметика: длина адресов, глубина вложенности.
Первые три пункта закрывают большинство реальных проблем. Полный перечень проверок собран в чек-листе аудита адресов.
Настройки, которые меняют результат
Один и тот же сайт даёт разные отчёты в зависимости от параметров сканирования.
| Настройка | На что влияет |
|---|---|
| Учитывать robots.txt | Закрытые разделы не попадут в отчёт |
| Выполнять JavaScript | Ссылки, подгружаемые скриптами, будут найдены |
| Учитывать nofollow | Часть ссылок не будет обойдена |
| Глубина сканирования | Ограничивает, как далеко от главной уйдёт обход |
| Обход поддоменов | Включает или исключает региональные и языковые версии |
Для первого аудита полезно сканировать без учёта robots.txt: так видно всё, что физически доступно, включая то, что вы считали закрытым.
Работа с выгрузкой в таблице
Отчёт краулера удобнее разбирать не в самой программе, а в таблице. Минимальный набор действий:
- Выгрузить список адресов с кодами ответа и заголовками.
- Построить сводную по кодам ответа — сразу видно масштаб проблем.
- Найти повторяющиеся значения в колонке заголовков — это кандидаты в дубли.
- Добавить колонку с длиной адреса и отсортировать по убыванию.
- Отфильтровать адреса по подозрительным сочетаниям символов.
Такая таблица становится рабочим документом: по ней ставятся задачи и отмечается, что уже исправлено.
Частые вопросы
Что такое краулер простыми словами?
Программа, которая обходит сайт по ссылкам, как поисковый робот, и собирает данные о каждой найденной странице: код ответа, заголовки, канонический адрес и другие параметры.
Найдёт ли краулер все страницы сайта?
Только те, на которые есть ссылки. Страницы-сироты в отчёт не попадут, поэтому результат сравнивают с картой сайта и списком адресов из панели вебмастера.
Как часто нужно сканировать сайт?
Обязательно после структурных изменений и обновлений системы, плюс плановая проверка раз в квартал. Для крупного каталога — чаще, хотя бы по разделам.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.