Как закрыть дубли страниц от индексации в WordPress без поломки SEO

Если в Search Console растут страницы с одинаковым содержимым, а в индексе всплывают архивы, теги, пагинация и служебные URL, проблема обычно не в «плохом SEO», а в настройках WordPress и шаблона. Дубли в CMS появляются быстро: один и тот же материал доступен через несколько адресов, а поисковик выбирает не тот URL, который вы считаете основным.

Ниже — рабочая схема: как диагностировать источник дублей, что закрывать от индексации, что не трогать, и как проверить, что после правок сайт не потерял важные страницы.

Какие дубли в WordPress встречаются чаще всего

На практике чаще всего проблемы создают не «страшные технические ошибки», а стандартные механизмы WordPress:

• архивы рубрик, меток, авторов и дат;
• страницы пагинации вида /page/2/;
• страницы вложений медиафайлов;
• поисковая выдача сайта с параметром ?s=;
• URL с UTM-метками и другими параметрами;
• дубли главной страницы из-за разных вариантов адреса;
• служебные страницы, которые не должны конкурировать с контентом.

Не все из них нужно закрывать. Например, архив рубрик часто полезен для навигации и внутренней перелинковки. А вот страницы вложений почти всегда создают бесполезные дубли, если на них нет отдельного смысла.

Диагностика: где именно появляются дубли

Перед правками нужно понять, какой тип страниц уже попал в индекс. Самый быстрый путь — посмотреть отчёты в Google Search Console и сопоставить их с реальными URL сайта.

Что проверить в первую очередь

• Отчёт по индексированию: какие URL помечены как «дубликат, Google выбрал другой канонический URL».
• Страницы с параметрами в адресе.
• Архивы тегов и авторов, если сайт небольшой и они почти пустые.
• Страницы вложений: отдельный URL у изображения вместо перехода на запись.
• Результаты внутреннего поиска, если они индексируются.

Если у вас есть доступ к серверным логам или аналитике, полезно посмотреть, какие URL получают трафик, но не несут ценности. Часто это старые архивы, служебные страницы и дубли с параметрами.

Быстрая проверка через поиск

Можно вручную увидеть, что уже попало в индекс. Для этого используйте запросы вида site:example.com и отдельно проверяйте:

• site:example.com inurl:tag;
• site:example.com inurl:author;
• site:example.com inurl:page/2;
• site:example.com inurl:?s=.

Это не заменяет Search Console, но помогает быстро понять масштаб проблемы.

Что закрывать от индексации, а что оставить

Здесь важно не действовать по шаблону. Если закрыть слишком много, можно потерять полезные страницы. Если закрыть слишком мало, дубли продолжат размывать релевантность.

Если сомневаетесь, сначала смотрите на ценность страницы для пользователя. Если у страницы нет самостоятельного поискового спроса и она лишь повторяет список материалов, её обычно можно закрыть.

Пошаговое решение: через плагин и через код

Есть два рабочих подхода: управлять индексированием через SEO-плагин или точечно через код. Для большинства сайтов удобнее начать с плагина, а код использовать для нестандартных случаев.

Вариант 1: настройка через SEO-плагин

Если у вас уже стоит SEO-плагин, проверьте, умеет ли он закрывать архивы, теги, авторов и страницы поиска от индексации. Важно не просто поставить noindex, а убедиться, что плагин корректно формирует мета-теги и канонические URL.

Если нужен инструмент для чистки дублей и служебных страниц, в экосистеме WPShop есть Clearfy Pro. Его имеет смысл рассматривать именно как средство для технической гигиены сайта, а не как замену нормальной SEO-настройке.

Вариант 2: точечная правка через functions.php

Если нужно закрыть только отдельные типы архивов, можно добавить фильтры в дочернюю тему или мини-плагин. Ниже пример: закрываем от индексации страницы поиска, авторские архивы на сайте с одним автором и страницы вложений.

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_search() || is_attachment() || is_author() ) {
        $robots['noindex']  = true;
        $robots['nofollow']  = true;
    }

    return $robots;
} );

add_action( 'template_redirect', function() {
    if ( is_attachment() ) {
        $attachment = get_post();

        if ( $attachment && $attachment->post_parent ) {
            wp_redirect( get_permalink( $attachment->post_parent ), 301 );
            exit;
        }
    }
} );

Здесь есть важная деталь: wp_robots добавляет мета-указания для поисковиков, а редирект со страницы вложения убирает сам дубль из пользовательского маршрута. Это лучше, чем просто прятать страницу от индексации, потому что URL перестаёт конкурировать с основным контентом.

Когда нужен canonical, а не noindex

Если у вас один и тот же контент доступен по нескольким адресам, но страницу нельзя просто закрыть, используйте канонический URL. Это актуально для пагинации, фильтров и некоторых параметров сортировки. Каноникал не «магия», а подсказка поисковику, какой адрес считать основным.

<?php
add_filter( 'wpseo_canonical', function( $canonical ) {
    if ( is_search() ) {
        return false;
    }

    return $canonical;
} );

Этот пример относится к Yoast SEO: если плагин уже управляет canonical, не нужно дублировать логику в теме без необходимости. Для других SEO-плагинов фильтры будут отличаться, и лучше не смешивать несколько источников каноникал-ссылок на одной странице.

Проверка результата после внедрения

После изменений важно не ограничиваться визуальной проверкой. Нужно убедиться, что поисковик видит именно то, что вы задумали.

• Откройте несколько проблемных URL и проверьте исходный код страницы.
• Убедитесь, что на закрытых страницах есть noindex или редирект.
• Проверьте, что у основных страниц остался корректный canonical.
• В Search Console отправьте на переобход несколько URL из проблемной группы.
• Посмотрите, исчезли ли дубли из отчёта по индексированию не сразу, а после повторного обхода.

Если используете редиректы, проверьте код ответа. Для вложений и старых дублей нужен именно 301, а не 302. В браузере этого не видно, поэтому лучше проверить через инструменты разработчика, curl -I или любой HTTP-checker.

curl -I https://example.com/sample-attachment/

В ответе должен быть редирект на нужный URL или корректная мета-разметка, если вы оставили страницу доступной, но закрыли её от индексации.

Частые ошибки и как их исправить

Ставят noindex на всё подряд

Так делают, когда хотят «почистить индекс» быстро. В результате исчезают полезные архивы, а внутренняя перелинковка становится слабее. Исправление простое: сначала разделите страницы на полезные и служебные, потом закрывайте только служебные.

Закрывают страницы, но не убирают ссылки на них

Если на сайте десятки внутренних ссылок ведут на бесполезные архивы или вложения, поисковик всё равно будет их обходить. Лучше убрать такие ссылки из шаблонов, виджетов и хлебных крошек, если они не нужны пользователю.

Путают canonical и redirect

Canonical не заменяет редирект, когда у вас есть явный дубль. Если страница не нужна вообще, редирект надёжнее. Canonical полезен там, где варианты URL должны существовать технически, но индексироваться должен один.

Редактируют robots.txt вместо реальной логики

Запрет в robots.txt не убирает URL из индекса, если он уже известен поисковику и на него ведут ссылки. Для дублей это часто слабое решение. Лучше использовать noindex, редирект или canonical в зависимости от сценария.

Практические советы по безопасности и производительности

Техническая чистка дублей — хороший повод проверить, не создаёт ли тема или плагин лишнюю нагрузку. Например, если архивы тегов генерируются автоматически, но не используются, они не только засоряют индекс, но и увеличивают число страниц, которые должен обходить бот.

• не плодите новые таксономии без необходимости;
• не включайте индексирование служебных страниц ради «большего количества URL»;
• не правьте SEO-логику в активной теме без дочерней темы или мини-плагина;
• после изменений очистите кеш страницы и объектный кеш, если он есть;
• проверьте, не ломает ли плагин кеша заголовки noindex и canonical.

Если сайт большой, сначала меняйте настройки на копии или staging-окружении. Ошибка в логике индексации может не сломать фронтенд, но быстро испортить видимость в поиске.

Что должно измениться после исправления

Хороший результат выглядит не как «всё исчезло из индекса», а как более чистая структура: в поиске остаются полезные страницы, а служебные URL перестают конкурировать с ними. В Search Console это обычно видно по уменьшению числа дублей и по более предсказуемому выбору канонического адреса.

Если после правок в индексе всё ещё остаются старые URL, это не всегда ошибка. Поисковику нужно время на повторный обход. Но если через несколько обходов проблема не уходит, значит, где-то осталась ссылка, canonical или шаблон, который продолжает отдавать дубль как полноценную страницу.