Общий формат и расположение мета-тега robots
<meta name='robots' content='noindex, nofollow'>Тег размещается в разделе head HTML-страницы и может содержать одно или сразу несколько значений через запятую, каждое из которых управляет отдельным аспектом поведения поискового робота именно на этой конкретной странице.
Значение noindex: запрет на включение в индекс
Самое распространённое значение — прямой запрет на включение страницы в поисковый индекс, уже подробно разобранный применительно к разным конкретным случаям использования на протяжении этой серии статей, от страниц корзины до результатов внутреннего поиска.
Значение nofollow: инструкция не переходить по ссылкам страницы
В отличие от noindex, запрещающего индексацию самой страницы, nofollow инструктирует робота не следовать по ссылкам, размещённым на этой странице, дальше — часто эти два значения используются вместе для полностью изолированных технических страниц, которые не должны ни попадать в индекс сами, ни передавать вес по своим внутренним ссылкам на другие страницы сайта.
Важное отличие от атрибута rel=nofollow на конкретной ссылке. Значение nofollow в мета-теге robots применяется ко всем ссылкам страницы сразу целиком, тогда как одноимённый атрибут может устанавливаться индивидуально на отдельную конкретную ссылку внутри страницы — это два разных, хотя и похожих по названию механизма с разным масштабом действия.
Значение noarchive: запрет на сохранённую копию
Это значение запрещает поисковой системе показывать сохранённую кешированную копию страницы в результатах выдачи — актуально для страниц с часто меняющимся содержимым, где устаревшая кешированная версия может ввести пользователя в заблуждение, либо для страниц, содержимое которых по каким-то причинам не должно быть доступно через архивную копию после его удаления с самого сайта.
Другие менее часто встречающиеся значения тега
- Ограничение длины сниппета в результатах выдачи для страниц, где полный автоматический сниппет нежелателен по каким-либо причинам.
- Запрет на использование изображений страницы в расширенных визуальных результатах поиска.
- Инструкции для специфичных типов поиска, отличных от основного веб-поиска, если сайт индексируется и в них.
Как правильно комбинировать несколько значений одновременно
Значения перечисляются через запятую в одном общем атрибуте content, и они применяются совместно, дополняя друг друга, — важно проверять итоговую логическую согласованность комбинации, избегая противоречивых сочетаний, аналогичных проблеме, разобранной в статье про одновременное использование canonical и noindex.
Чек-лист
- Использовать noindex для запрета включения страницы в индекс.
- Использовать nofollow для запрета передачи веса по всем ссылкам страницы сразу.
- Применять noarchive для страниц, где устаревшая кешированная копия нежелательна.
- Проверять логическую согласованность при комбинировании нескольких значений одновременно.
Периодическая проверка, что установленные значения по-прежнему актуальны и необходимы
Значение noindex, изначально установленное по веской причине для конкретного типа страниц, со временем может перестать быть актуальным — например, если раздел сайта, ранее закрытый от индексации как временный тестовый, впоследствии становится полноценной постоянной частью сайта, — периодическая проверка соответствия установленных значений мета-тега актуальному статусу страницы помогает вовремя обновить устаревшую настройку.
Возможные различия в поддержке отдельных значений разными поисковыми системами
Хотя основные значения вроде noindex и nofollow поддерживаются повсеместно, отдельные более редкие и специфичные значения мета-тега robots могут по-разному интерпретироваться или вовсе не поддерживаться разными поисковыми системами — стоит свериться с актуальной документацией конкретной системы, если планируется использование не самых распространённых значений тега.
Совместное действие мета-тега и общего файла robots.txt
Важно понимать разницу между мета-тегом на конкретной странице и общими правилами в файле robots.txt, разобранном в статье про настройку robots.txt, — если страница заблокирована от обхода на уровне robots.txt, робот может вовсе не добраться до неё, чтобы прочитать установленный на ней мета-тег, что делает эти два механизма не взаимозаменяемыми, а дополняющими друг друга разными инструментами.
Частые вопросы
Чем значение noindex отличается от nofollow в мета-теге robots?
Noindex запрещает включение самой страницы в поисковый индекс, а nofollow инструктирует робота не переходить и не передавать вес по ссылкам, размещённым на этой странице, дальше по сайту.
Для чего нужно значение noarchive в мета-теге robots?
Оно запрещает поисковой системе показывать сохранённую кешированную копию страницы в выдаче — актуально для часто меняющегося содержимого или контента, который не должен быть доступен через архив после удаления.
Можно ли использовать несколько значений мета-тега robots одновременно?
Да, значения перечисляются через запятую в одном атрибуте content и применяются совместно — важно только проверять логическую согласованность комбинации, избегая противоречивых сочетаний.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.