Символ звёздочки как обозначение любой последовательности символов
Звёздочка внутри пути правила Disallow или Allow обозначает любую, в том числе пустую, последовательность произвольных символов, что позволяет одним правилом охватить сразу целую группу адресов, объединённых общим фрагментом пути, а не перечислять каждый адрес отдельно.
Disallow: /*?sort= (запрещает любой адрес, содержащий параметр sort)
Disallow: /*.pdf$ (запрещает все файлы с расширением pdf)Знак доллара как явное указание конца адреса
Знак доллара в конце пути правила указывает, что адрес должен заканчиваться именно в этой точке, а не продолжаться дальше произвольными символами, — без этого знака правило по умолчанию применяется к адресу и любому его возможному продолжению.
Типичные практические случаи применения символов-масок в правилах
Символы-маски особенно полезны для закрытия от обхода всех адресов с определёнными техническими параметрами независимо от конкретной страницы, всех файлов определённого формата или всех адресов, начинающихся с общего технического префикса, характерного, например, для внутреннего поиска или фильтров.
Риск случайного закрытия лишнего содержимого слишком широкой маской
Недостаточно продуманная маска способна случайно захватить и запретить обход страниц, которые на самом деле должны были остаться доступными для индексации, — перед публикацией такого правила стоит обязательно протестировать его через инструмент проверки конкретных адресов в панели вебмастера.
Возможность комбинирования нескольких символов-масок в рамках одного правила
Отдельное правило способно одновременно содержать и звёздочку, и знак доллара, что позволяет составлять более точные и специфичные условия — например, запрет только для файлов определённого расширения внутри конкретного раздела сайта, а не для всех файлов этого расширения на всём сайте целиком.
Практический подход к отладке особенно сложных, многоуровневых правил с масками
При составлении сложного правила разумно начинать с простого варианта и постепенно усложнять его, проверяя результат на каждом шаге через инструмент проверки конкретных адресов, а не пытаться сразу написать финальную сложную конструкцию без промежуточного тестирования.
Ценность обращения к актуальной официальной документации при работе с масками
Поскольку детали интерпретации символов-масок способны незначительно отличаться между разными поисковыми системами и со временем обновляться, при составлении действительно важных правил стоит свериться с актуальной официальной документацией конкретной системы, а не полагаться исключительно на память.
Особая осторожность при использовании масок рядом с коммерчески важными разделами
При составлении масок, потенциально затрагивающих адреса рядом с действительно важными коммерческими разделами сайта, стоит проявлять повышенную осторожность и обязательно тестировать итоговое поведение правила, чтобы случайно не закрыть от индексации важное содержимое.
Частые вопросы
Поддерживают ли все поисковые системы символы-маски в robots.txt?
Основные поисковые системы, включая Яндекс и Google, поддерживают использование звёздочки и знака доллара, хотя в деталях интерпретации отдельных случаев между разными системами возможны небольшие различия.
Нужен ли знак доллара, если адрес и так не имеет продолжения?
Знак доллара явно фиксирует конец адреса и защищает от неожиданного захвата более длинных адресов с тем же началом, которые могут появиться на сайте в будущем, поэтому его стоит использовать для большей предсказуемости правила.
Как протестировать сложное правило с маской перед публикацией?
Инструмент проверки robots.txt в панели вебмастера позволяет ввести конкретный тестовый адрес и увидеть, будет ли он запрещён или разрешён согласно текущим правилам файла, включая правила с масками.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.