Переход по ссылке с уже известной и обходимой страницы
Основной, наиболее естественный способ обнаружения новой страницы — прямая ссылка на неё с любой другой страницы, которую робот уже посещает, будь то внутренняя ссылка с самого сайта или внешняя ссылка с другого, уже известного поисковой системе ресурса.
Файл sitemap.xml как явное, прямое указание на существование страницы
Перечисление адреса страницы в файле sitemap.xml, поданном в панель вебмастера, — способ явно сообщить о существовании страницы, не полагаясь исключительно на то, что робот самостоятельно наткнётся на неё через цепочку ссылок.
Ручная отправка конкретного адреса через панель вебмастера
Для отдельных, особенно важных и срочных страниц панель Яндекс.Вебмастера позволяет напрямую запросить их обход, что особенно полезно, когда естественное обнаружение через ссылки или sitemap ожидается со значительной задержкой.
Почему полностью изолированная страница может никогда не быть найдена
Страница, не упомянутая ни в одной ссылке, ни в sitemap.xml, ни отправленная вручную, формально может существовать на сайте сколь угодно долго, оставаясь при этом полностью невидимой для поискового робота, пока хотя бы один из этих способов не сработает.
RSS-ленты и другие дополнительные каналы обнаружения содержимого
Для сайтов с регулярно публикуемым контентом вроде блога дополнительным каналом обнаружения новых страниц служит RSS-лента, которую отдельные поисковые системы и сервисы используют как ещё один источник информации о недавно опубликованных материалах помимо стандартного обхода по ссылкам.
Связь скорости обнаружения новых страниц с общей популярностью сайта
Сайты, которые робот посещает особенно часто из-за их высокой популярности и регулярного обновления содержимого, как правило, получают и более быстрое обнаружение новых страниц по сравнению с редко посещаемыми, менее активными сайтами того же тематического направления.
Ошибочная надежда исключительно на sitemap.xml без учёта перелинковки
Одного лишь упоминания страницы в sitemap.xml не всегда достаточно для действительно быстрого и надёжного обнаружения — сочетание с полноценной внутренней перелинковкой, разобранной в следующей статье серии, заметно повышает предсказуемость и скорость этого процесса.
Особый случай повторного обнаружения страницы после изменения её адреса
При изменении адреса уже существующей страницы с настройкой редиректа робот использует те же основные механизмы обнаружения, чтобы найти новый адрес, — редирект со старого адреса выступает здесь дополнительным надёжным каналом информирования о новом местоположении содержимого.
Частые вопросы
Достаточно ли одного упоминания в sitemap.xml для обнаружения страницы?
Обычно да, этого достаточно, но дополнительное наличие внутренней ссылки на страницу делает её обнаружение более надёжным и, как правило, более быстрым.
Как быстро робот находит страницу после появления внешней ссылки?
Сроки зависят от того, как часто робот посещает сайт с этой внешней ссылкой, — от нескольких дней до нескольких недель в зависимости от активности обхода конкретного источника ссылки.
Может ли страница без единой ссылки всё же попасть в индекс?
Крайне маловероятно без хотя бы одного из основных способов обнаружения — ссылки, упоминания в sitemap или ручной отправки через панель вебмастера.
Готовый адрес можно собрать прямо сейчас: откройте генератор ЧПУ — он транслитерирует фразу по таблице Яндекса, уберёт служебные слова и покажет длину адреса.