Платный и закрытый контент: что видит робот, разметка доступа

Какой бывает закрытый контент

Закрытым называют материал, к которому посетитель получает доступ не сразу: после оплаты, подписки, регистрации или ввода электронной почты. Для владельца сайта это способ монетизации или сбора контактов, для поискового робота — задача с подвохом. Робот заходит без логина и видит либо полный текст, либо лишь его часть, либо форму входа вместо статьи. От того, что он увидит, зависит, попадёт ли страница в поиск и по каким запросам будет находиться.

Формально всё сводится к трём вариантам: страница открыта целиком, открыта частично (превью, а остальное скрыто) или закрыта полностью. Для каждого нужно своё решение по индексации, адресам и разметке.

Три модели доступа

Превью, которое работает на поиск

Если вы закрываете часть материала, всё, что открыто, должно самостоятельно отвечать поисковому запросу или хотя бы честно показывать, о чём статья. Хорошее превью состоит из:

• заголовка и лида, которые раскрывают тему;
• оглавления или списка вопросов, на которые отвечает материал;
• первого раздела или ключевого вывода, чтобы человек оценил полезность;
• понятного объяснения, что нужно сделать для доступа: оплатить, войти или оставить почту.

Пустая страница с кнопкой «Купить» плохо работает и для людей, и для поиска: в ней нечего показать в выдаче и не на что ссылаться. Открытое описание также помогает получить внешние ссылки, которых полностью закрытый текст не соберёт.

Разметка доступа

Словарь schema.org позволяет сообщить, что страница не полностью бесплатна и какая именно её часть закрыта. Для этого используются свойство isAccessibleForFree и вложенный элемент hasPart с указанием, где находится закрытый блок.

<script type='application/ld+json'>
{
  "@context": "https://schema.org",
  "@type": "Article",
  "headline": "Разбор годового отчёта",
  "isAccessibleForFree": false,
  "hasPart": {
    "@type": "WebPageElement",
    "isAccessibleForFree": false,
    "cssSelector": ".paywall"
  }
}
</script>

Селектор в cssSelector должен указывать на реальный блок страницы, в котором находится закрытый текст. Данные разметки обязаны совпадать с тем, что видит посетитель: если на странице нет пейволла, а разметка утверждает обратное, её лучше убрать. Поддержку такой разметки конкретными поисковыми системами уточняйте в их документации: поведение и требования со временем меняются, поэтому проверять нужно на актуальных источниках.

Чем опасно разное содержимое для людей и роботов

Соблазн понятен: показать роботу полный текст, чтобы страница ранжировалась по всем словам, а людям — только начало. Такая подмена без разметки и без чёткой логики похожа на маскировку: контент, который видит поиск, отличается от того, что получает человек. Последствия — понижение в выдаче или исключение страниц. Безопасный ориентир: посетитель, пришедший из поиска, должен получить то, что ему обещали, или понять, как это получить.

Адреса закрытых страниц

• Витрина, каталог и страницы-превью получают обычные понятные адреса и остаются в индексе.
• Личный кабинет и страницы входа закрывают от индексации: что закрывать в личном кабинете.
• Не смешивайте в одном адресе открытую и закрытую версию, показывая то одно, то другое по логину: у робота и у людей должен быть предсказуемый результат.
• Если платные файлы (документы, курсы) хранятся отдельно, ограничьте их выдачу заголовками: X-Robots-Tag для файлов.

Как проверить, что видит робот

1. Откройте страницу в режиме инкогнито без входа в аккаунт: это ближайший аналог того, что видит робот.
2. Запросите страницу без cookie и посмотрите, что вернёт сервер.
3. В инструментах вебмастера проверьте, как страница отображается для робота, и есть ли в полученном тексте ключевые слова превью.
4. Убедитесь, что закрытый текст не попадает в исходный код страницы для гостей: если он скрыт только стилями, робот его увидит.

# посмотреть, что получает гость без cookie
curl -s "https://example.ru/materialy/tema/" | head -n 60

Если в ответе на гостевой запрос присутствует весь платный текст, а на экране он скрыт, это ошибка настройки: платный материал доступен любому желающему через исходный код.

Частые вопросы