Директива User-agent как основа структуры всего файла
Каждый блок правил в robots.txt начинается с директивы User-agent, указывающей, к какому именно роботу относятся последующие правила, — символ звёздочки означает применение правил ко всем роботам, не имеющим отдельного, более специфичного блока правил именно для себя.
User-agent: Yandex
Disallow: /admin/
User-agent: *
Disallow: /search/Директивы Disallow и Allow как основные инструкции запрета и разрешения
Disallow указывает путь, обход которого запрещён, тогда как Allow, наоборот, явно разрешает обход конкретного пути — что особенно полезно для создания исключения внутри более широкого запрета, например, разрешив один конкретный файл внутри в целом закрытой от индексации папки.
Директива Sitemap как указание на расположение карты сайта
Отдельная директива Sitemap, указывающая полный адрес файла sitemap.xml, может размещаться в любом месте файла robots.txt независимо от конкретного блока User-agent и применяется сразу ко всем роботам вне зависимости от адресации остальных правил.
Чувствительность синтаксиса robots.txt к регистру символов
Пути в директивах Disallow и Allow чувствительны к регистру символов, поэтому запрет для строчных букв в адресе не распространяется автоматически на аналогичный адрес с заглавными буквами — это частый источник незамеченных ошибок при формировании правил файла.
Возможность добавления пояснительных комментариев в файл robots.txt
Символ решётки в начале строки позволяет добавлять пояснительные комментарии, игнорируемые роботами при интерпретации файла, — эта возможность полезна для документирования логики отдельных правил прямо внутри файла, особенно на сайтах с достаточно сложной и не всегда очевидной структурой ограничений.
Особое значение пустого значения в директиве Disallow
Директива Disallow с пустым значением после двоеточия фактически означает полное отсутствие ограничений для соответствующего блока User-agent — это отличается от полного отсутствия самой директивы Disallow и стоит использовать осознанно, понимая эту тонкость синтаксиса.
Строгое требование к расположению файла robots.txt на сервере
Файл должен располагаться строго в корневом каталоге сайта и быть доступным по стандартному адресу вида имя_сайта/robots.txt — размещение в любой другой директории сервера делает файл полностью невидимым и неучитываемым поисковыми роботами.
Практические рекомендации по разумной общей длине файла robots.txt
Хотя жёсткого технического ограничения на размер файла в большинстве случаев нет, чрезмерно длинный и запутанный файл усложняет его поддержку и повышает риск ошибок — разумнее стремиться к компактным, чётко структурированным правилам, а не к исчерпывающему перечислению каждого частного случая.
Частые вопросы
Обязательно ли указывать директиву Sitemap именно в robots.txt?
Формально это не обязательно, поскольку sitemap.xml можно подать напрямую через панель вебмастера, но указание в robots.txt остаётся хорошей практикой, полезной и для других роботов, не привязанных к конкретной панели.
Что произойдёт, если в файле нет ни одного правила User-agent?
Файл robots.txt без блоков User-agent не будет содержать действующих инструкций для роботов, что фактически равнозначно полному отсутствию файла с точки зрения содержательных ограничений на обход.
Как проверить корректность синтаксиса своего файла robots.txt?
Панели вебмастера обычно предоставляют встроенный инструмент проверки синтаксиса robots.txt, показывающий, как именно конкретные правила будут интерпретированы роботом для заданного тестового адреса.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.