Что даёт отдельный журнал ошибок 404
Каждое обращение к несуществующей странице — сигнал. Иногда это опечатка, иногда старая ссылка из чужой статьи, иногда следствие ошибки в собственной вёрстке. Если записывать такие запросы, вы получаете бесплатный и точный список того, что следует исправить.
Что записывать в журнал
- запрошенный адрес и дату обращения;
- источник перехода, если он известен;
- тип клиента: человек или поисковый робот;
- счётчик повторных обращений к одному адресу.
Как использовать записи
- отсортируйте адреса по числу обращений;
- для частых адресов найдите подходящую замену и настройте редирект;
- исправьте внутренние ссылки, если источник — ваш сайт;
- игнорируйте случайный шум и попытки поиска уязвимостей.
Связь с журналами веб-сервера
Журнал самого сервера тоже содержит эти данные, как разобрано в статье про логи сервера для SEO. Собственная запись на уровне приложения удобнее тем, что даёт уже сгруппированную статистику и позволяет сразу сопоставить адрес с внутренними данными.
Шум, нагрузка и срок хранения
Осторожно: ботов, перебирающих случайные адреса, много. Группируйте записи и храните ограниченный срок, иначе журнал разрастётся и станет источником нагрузки.
Как определить источник ошибочных обращений
Если в журнале есть данные о странице, с которой пришёл посетитель, найти причину проще. Ссылка внутри собственного сайта означает ошибку в вёрстке или устаревший адрес в меню, ссылка с чужого сайта — повод связаться с владельцем или настроить редирект.
- внутренний источник — исправить ссылку на сайте;
- внешний источник — настроить редирект на актуальную страницу;
- отсутствие источника — как правило, ручной ввод или закладка.
Отдельно смотрите на обращения поисковых роботов
Если робот регулярно запрашивает несуществующие адреса, значит, в его базе остались старые ссылки. Часть из них вы найдёте в карте сайта или внутренней перелинковке. Устранив источник, вы сэкономите бюджет обхода и ускорите работу робота с действительно значимыми страницами.
Расстановка приоритетов при разборе журнала
Не пытайтесь исправить все ошибки сразу. Начните с адресов, на которые ведут внешние ссылки и которые запрашиваются чаще всего, затем перейдите к тем, что связаны с важными разделами. Редкие случайные обращения чаще всего не стоят усилий и могут быть просто проигнорированы.
Частые вопросы
Зачем записывать обращения к несуществующим адресам?
Это готовый список утерянных ссылок и ошибок в вёрстке, который помогает настроить редиректы и исправить внутренние ссылки.
На какие записи в журнале смотреть в первую очередь?
На адреса с наибольшим числом обращений, особенно если у них известный источник перехода.
Не разрастётся ли журнал слишком сильно?
Он может разрастись из-за перебирающих адреса ботов, поэтому записи стоит группировать и хранить ограниченный срок.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.