Проверка текстов на оригинальность: как проверять и что делать с заимствованиями

Что именно нужно проверять

Слово «оригинальность» на практике означает три разные вещи. Во-первых, не скопирован ли текст у другого сайта. Во-вторых, не повторяется ли он на самом вашем сайте: одинаковые описания на десятках страниц конкурируют друг с другом. В-третьих, приносит ли он что-то новое читателю, а не пересказывает чужие статьи другими словами. Проверка на заимствования отвечает только на первый вопрос и частично на второй. Поэтому её нужно сочетать с чтением текста и вопросом «что здесь есть такого, чего нет у конкурентов».

Способы проверки

О поиске по фразам и операторах кавычек подробнее — в статье операторы поиска для аудита сайта.

Порядок проверки перед публикацией

1. Проверьте текст сервисом и поиском по нескольким характерным фразам.
2. Найдите похожие страницы на вашем же сайте: особенно в шаблонных разделах и карточках товаров.
3. Оформите цитаты и переработайте лишние заимствования.
4. Повторно проверьте и запишите результат в карточку материала.

Как читать результат

• Процент не решает. Не существует единого порога, при котором текст «хороший»: смотрите на то, какие фрагменты совпали и почему.
• Совпали типовые обороты и термины. Названия, определения, официальные формулировки нельзя заменить, и они не считаются плагиатом.
• Совпал большой связный кусок — повод переписать или оформить как цитату с источником.
• Совпадает внутри сайта. Подробнее о том, что с этим делать: шаблоны текстов и риск дублей.
• Результат зависит от сервиса. Сравнивать проценты разных сервисов между собой бессмысленно.

Сравнение собственных страниц скриптом

def shingles(text, n=4):
    words = "".join(ch if ch.isalnum() else " " for ch in text.lower()).split()
    return {" ".join(words[i:i + n]) for i in range(len(words) - n + 1)}

def similarity(a, b):
    sa, sb = shingles(a), shingles(b)
    if not sa or not sb:
        return 0.0
    return len(sa & sb) / len(sa | sb)

# similarity(text1, text2) близко к 1 — тексты почти совпадают

Скрипт делит каждый текст на последовательности из четырёх слов и считает долю общих. Значения выше примерно 0,5 для страниц, которые должны различаться, — повод разобраться. Для большого сайта сравнивайте попарно только страницы одного типа, иначе проверка займёт слишком много времени.

Что делать с найденными заимствованиями

1. Цитата. Если нужен точный фрагмент, оформите его как цитату с указанием источника: цитаты и источники в материалах.
2. Переработка. Если совпадение случайное или типовое, перепишите своими словами и добавьте собственный пример или данные.
3. Удаление. Если фрагмент не нужен, уберите его.
4. Связь с автором. Если чужой текст скопирован с вашего сайта, начните с обращения к владельцу и хостинг-провайдеру, а юридические шаги обсудите с юристом.

Типичные ошибки

• Гнаться за 100% уникальности с помощью замены слов синонимами: текст становится хуже, а смысл остаётся чужим.
• Проверять только внешние совпадения и не замечать десятки одинаковых описаний на своём сайте.
• Не сохранять результаты проверки: через год непонятно, что проверялось.
• Считать оригинальным текст, написанный без новых данных или опыта автора.

Частые вопросы