Как закрыть от индексации страницы архивов таксономий в WordPress

Архивы таксономий в WordPress часто становятся источником дублей и мусорных страниц в индексе: пустые рубрики, метки с одним постом, архивы фильтров и кастомных таксономий без нормального контента. Если такие страницы не несут ценности для поиска, их лучше закрыть от индексации точечно, а не рубить весь сайт через robots.txt.

Ниже разберём, как понять, какие архивы действительно стоит закрывать, чем отличается noindex от запрета в robots.txt, и как сделать это через код или SEO-плагин без лишних побочных эффектов.

Когда архивы таксономий нужно закрывать

Не все архивы надо убирать из поиска. Проблема обычно не в самой таксономии, а в том, как она используется. Если архив рубрики или метки содержит полезный текст, список материалов и реально отвечает на запрос пользователя, его можно оставить открытым. Если же это техническая страница, страница фильтра или пустой архив, индексация только раздувает сайт.

Типичные признаки проблемных архивов

  • в архиве 0–1 запись, а сама страница всё равно доступна;
  • метки создаются автоматически и дублируют рубрики;
  • кастомная таксономия используется только для внутренней навигации;
  • в индексе появляются страницы с параметрами, которые не должны ранжироваться;
  • поисковик показывает архивы вместо целевых страниц записей.

Диагностика: что именно попало в индекс

Перед правками проверьте, какие URL уже индексируются. Самый быстрый способ — поиск по сайту в Google и просмотр отчёта об индексировании в Search Console. Если у вас есть доступ к серверным логам или аналитике, полезно посмотреть, какие архивы получают реальные переходы. Иногда оказывается, что закрывать нужно не все архивы, а только конкретный тип таксономии.

Сначала соберите список проблемных URL:

  • архивы рубрик с пустым или слабым содержимым;
  • архивы меток, которые дублируют рубрики;
  • архивы кастомных таксономий без SEO-ценности;
  • страницы пагинации, если они не нужны в поиске;
  • служебные страницы фильтрации, если они генерируются темой или плагином.

Если архив нужен для пользователей, но не нужен в поиске, обычно выбирают noindex, follow. Это позволяет не индексировать саму страницу, но не ломает обход ссылок внутри неё.

Что выбрать: noindex, robots.txt или отключение архива

У каждого варианта своя задача. Ошибка многих сайтов — закрывать всё через robots.txt и потом удивляться, что поисковик продолжает видеть URL в выдаче без содержимого. Если страница уже в индексе, запрет в robots.txt не удаляет её сам по себе.

ПодходКогда использоватьПлюсМинус
noindexСтраница должна открываться, но не индексироватьсяГибко и безопасноНужно дождаться переобхода
robots.txtНужно ограничить обход технических URLПросто для служебных разделовНе удаляет уже проиндексированные страницы
Отключение архиваСтраница вообще не нужнаУбирает источник дублейМожет сломать ссылки и навигацию

Пошаговое решение через код

Если нужен контроль без зависимости от плагина, проще всего добавить noindex для конкретных архивов через wp_head. Такой вариант подходит, когда вы точно знаете, какие таксономии надо закрыть.

<?php
add_action( 'wp_head', function () {
    if ( is_tax( array( 'product_cat', 'product_tag', 'news_topic' ) ) ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }

    if ( is_tag() ) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1 );

Этот код лучше размещать в дочерней теме или в небольшом mu-plugin, а не в основной теме, чтобы не потерять настройку при обновлении.

Если нужно закрыть не только мета-тегом, но и заголовком X-Robots-Tag, можно отправлять его на уровне PHP. Это полезно для архивов, которые отдаются как HTML и должны быть явно помечены для поисковиков.

<?php
add_action( 'template_redirect', function () {
    if ( is_tax( array( 'product_cat', 'product_tag', 'news_topic' ) ) || is_tag() ) {
        header( 'X-Robots-Tag: noindex, follow', true );
    }
} );

Если таксономия вообще не нужна в публичной части, лучше отключить её архивы на этапе регистрации. Для кастомной таксономии это делается через аргумент publicly_queryable и, при необходимости, rewrite. Но тут важно понимать последствия: если архив отключён, старые ссылки могут отдавать 404, и это надо проверить отдельно.

<?php
register_taxonomy( 'news_topic', array( 'post' ), array(
    'label'             => 'Темы',
    'public'            => true,
    'publicly_queryable'=> false,
    'rewrite'           => false,
    'show_ui'           => true,
    'show_in_rest'      => true,
) );

Как сделать это через SEO-плагин

Если у вас уже стоит SEO-плагин, обычно проще закрыть архивы в его настройках, чем писать свой код. Важно только не смешивать несколько источников управления robots-метками: когда один плагин ставит index, а другой — noindex, результат становится непредсказуемым.

В большинстве случаев логика такая:

  • для рубрик — оставить индексируемыми только полезные;
  • для меток — закрыть почти всё, если они не несут самостоятельной ценности;
  • для кастомных таксономий — решать отдельно по каждой;
  • проверить, не дублирует ли SEO-плагин ваши ручные мета-теги.

Если вы используете Clearfy Pro, там удобно добираться до типовых SEO-дублей и технических страниц без правки шаблонов. Но даже в этом случае стоит сверить, какой именно архив закрывается и не конфликтует ли настройка с другим SEO-модулем.

Проверка результата после внедрения

После правок не ограничивайтесь просмотром исходника страницы. Нужно убедиться, что поисковый робот увидит именно то, что вы ожидаете.

  1. Откройте архив в браузере и проверьте исходный код на наличие noindex,follow.
  2. Посмотрите заголовки ответа, если используете X-Robots-Tag.
  3. Проверьте страницу через инструмент проверки URL в Google Search Console.
  4. Убедитесь, что внутренние ссылки на архивы не сломались.
  5. Если архив был в индексе, дождитесь переобхода и отслеживайте статус в Search Console.

Для быстрой проверки заголовков можно использовать curl:

curl -I https://example.com/taxonomy/news_topic/

В ответе должен быть либо заголовок X-Robots-Tag: noindex, follow, либо вы должны увидеть его в HTML-источнике страницы, если используете мета-тег.

Частые ошибки и как их исправить

Закрыли через robots.txt, но URL остался в индексе

Это нормальная ситуация. robots.txt запрещает обход, но не гарантирует удаление из индекса. Если страница уже известна поисковику, используйте noindex и дождитесь переобхода.

Поставили noindex и одновременно запретили обход

Так делать не стоит, если цель — убрать страницу из индекса. Когда робот не может зайти на страницу, он не увидит мета-тег noindex. В итоге URL может висеть в индексе дольше, чем нужно.

Закрыли все рубрики подряд

Это частая ошибка после массовой настройки SEO-плагина. Если рубрика даёт трафик и содержит полезный текст, её лучше оставить открытой. Закрывайте только те архивы, которые реально создают дубли или не несут ценности.

Сломали архивы после отключения rewrite

Если вы отключили rewrite у таксономии, проверьте старые ссылки, хлебные крошки и виджеты. Иногда тема или плагин продолжают строить URL по старому шаблону, и пользователи получают 404.

Чек-лист перед публикацией изменений

  • определён список конкретных таксономий и архивов, которые надо закрыть;
  • понятно, нужен ли noindex или достаточно отключить архив;
  • проверено, не используется ли этот архив в навигации и хлебных крошках;
  • исключены конфликты между SEO-плагином и ручным кодом;
  • проверены заголовки ответа и исходный код страницы;
  • после изменений отслеживается статус URL в Search Console.

Практические советы по безопасности и производительности

Если вы вносите правки кодом, не редактируйте файл темы напрямую на боевом сайте. Используйте дочернюю тему или mu-plugin, чтобы не потерять изменения при обновлении. Для массовых SEO-настроек лучше сначала протестировать на staging-копии: там проще увидеть, какие архивы реально закрылись и не появились ли лишние 404.

Ещё один полезный момент: если архивы таксономий создаются автоматически и их много, не пытайтесь лечить проблему только мета-тегами. Иногда правильнее пересмотреть структуру контента, убрать лишние метки и сократить число пустых архивов. Это уменьшает нагрузку на обход и делает сайт чище для пользователей и поисковых систем.

Если нужен более широкий контроль над дублями, техническими страницами и SEO-метками, имеет смысл смотреть не только на отдельные правки, но и на системную чистку сайта. В таких задачах часто помогает набор настроек уровня Clearfy Pro: он закрывает типовые дубли и упрощает управление техническими страницами без ручного вмешательства в шаблоны.

⭐⭐⭐⭐⭐