Какие задачи решают логи
Журнал сервера показывает, какие адреса запрашивал робот, как часто, и что получил в ответ. Что именно искать, описано в статье про логи для SEO-специалиста, а чем журнал отличается от аналитики — в статье про логи и аналитику. Здесь — о том, чем их анализировать.
Виды инструментов
| Инструмент | Когда подходит | Ограничения |
|---|---|---|
| Командная строка (grep, awk, sort) | Быстрая проверка, небольшие файлы | Нужны навыки, неудобно для сложных отчётов |
| Настольные анализаторы логов | Регулярный SEO-анализ без разработки | Ограничены объёмом и возможностями |
| Облачные сервисы и системы сбора логов | Большие объёмы, постоянный мониторинг | Настройка и стоимость |
| Собственные скрипты и базы | Специфические отчёты, автоматизация | Нужна разработка и поддержка |
| Панели статистики хостинга | Быстрый общий обзор | Мало SEO-специфики |
Базовые команды
# сколько запросов от робота по кодам ответа
grep "YandexBot" access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# самые запрашиваемые адреса, закончившиеся ошибкой 404
grep " 404 " access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20Номера столбцов зависят от формата журнала: в распространённом формате адрес находится в седьмом поле, а код ответа — в девятом. Проверьте формат вашего сервера, прежде чем доверять результатам.
Проверка настоящих роботов
В журнале название робота записано так, как его указал сам запрос, а значит, его можно подделать. Чтобы убедиться, что запросы действительно от поисковой системы, сверяйте адрес отправителя: выполняйте обратный запрос по адресу и проверяйте, что имя принадлежит домену поисковой системы, а затем прямой запрос по этому имени возвращает исходный адрес. Порядок проверки приведён в справках поисковых систем.
Порядок работы
- Соберите журналы за период не меньше недели: логи как источник данных о перенаправлениях.
- Отфильтруйте запросы настоящих роботов.
- Постройте базовые отчёты: коды ответа, самые частые адреса, доля запросов к параметрам, ошибки.
- Сопоставьте с картой сайта и обходом краулера: расхождения покажут проблемы.
- Повторяйте регулярно и сохраняйте результаты для сравнения.
Не храните лишнее. Журналы содержат адреса и данные посетителей: соблюдайте правила хранения и доступа. Про мониторинг ошибок — в статье оповещения об ошибках 404, а про скорость обхода — в статье время ответа и бюджет обхода.
Частые вопросы
Чем анализировать логи сервера для SEO?
Для быстрых проверок хватит командной строки, для регулярной работы — анализаторов логов, для больших объёмов и особых отчётов — облачных систем или собственных скриптов.
Почему нужно проверять, что запрос пришёл от настоящего робота?
Название робота в журнале можно подделать; подлинность проверяют обратным и прямым запросом по адресу отправителя.
За какой период анализировать журналы?
Не меньше недели, чтобы учесть колебания; для сравнения динамики — несколько недель или месяцев.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.