Архивы таксономий в WordPress часто становятся источником дублей и мусорных страниц в индексе: пустые рубрики, метки с одним постом, архивы фильтров и кастомных таксономий без нормального контента. Если такие страницы не несут ценности для поиска, их лучше закрыть от индексации точечно, а не рубить весь сайт через robots.txt.
Ниже разберём, как понять, какие архивы действительно стоит закрывать, чем отличается noindex от запрета в robots.txt, и как сделать это через код или SEO-плагин без лишних побочных эффектов.
Когда архивы таксономий нужно закрывать
Не все архивы надо убирать из поиска. Проблема обычно не в самой таксономии, а в том, как она используется. Если архив рубрики или метки содержит полезный текст, список материалов и реально отвечает на запрос пользователя, его можно оставить открытым. Если же это техническая страница, страница фильтра или пустой архив, индексация только раздувает сайт.
Типичные признаки проблемных архивов
- в архиве 0–1 запись, а сама страница всё равно доступна;
- метки создаются автоматически и дублируют рубрики;
- кастомная таксономия используется только для внутренней навигации;
- в индексе появляются страницы с параметрами, которые не должны ранжироваться;
- поисковик показывает архивы вместо целевых страниц записей.
Диагностика: что именно попало в индекс
Перед правками проверьте, какие URL уже индексируются. Самый быстрый способ — поиск по сайту в Google и просмотр отчёта об индексировании в Search Console. Если у вас есть доступ к серверным логам или аналитике, полезно посмотреть, какие архивы получают реальные переходы. Иногда оказывается, что закрывать нужно не все архивы, а только конкретный тип таксономии.
Сначала соберите список проблемных URL:
- архивы рубрик с пустым или слабым содержимым;
- архивы меток, которые дублируют рубрики;
- архивы кастомных таксономий без SEO-ценности;
- страницы пагинации, если они не нужны в поиске;
- служебные страницы фильтрации, если они генерируются темой или плагином.
Если архив нужен для пользователей, но не нужен в поиске, обычно выбирают noindex, follow. Это позволяет не индексировать саму страницу, но не ломает обход ссылок внутри неё.
Что выбрать: noindex, robots.txt или отключение архива
У каждого варианта своя задача. Ошибка многих сайтов — закрывать всё через robots.txt и потом удивляться, что поисковик продолжает видеть URL в выдаче без содержимого. Если страница уже в индексе, запрет в robots.txt не удаляет её сам по себе.
| Подход | Когда использовать | Плюс | Минус |
|---|---|---|---|
noindex | Страница должна открываться, но не индексироваться | Гибко и безопасно | Нужно дождаться переобхода |
robots.txt | Нужно ограничить обход технических URL | Просто для служебных разделов | Не удаляет уже проиндексированные страницы |
| Отключение архива | Страница вообще не нужна | Убирает источник дублей | Может сломать ссылки и навигацию |
Пошаговое решение через код
Если нужен контроль без зависимости от плагина, проще всего добавить noindex для конкретных архивов через wp_head. Такой вариант подходит, когда вы точно знаете, какие таксономии надо закрыть.
<?php
add_action( 'wp_head', function () {
if ( is_tax( array( 'product_cat', 'product_tag', 'news_topic' ) ) ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
if ( is_tag() ) {
echo '<meta name="robots" content="noindex,follow" />' . "\n";
}
}, 1 );Этот код лучше размещать в дочерней теме или в небольшом mu-plugin, а не в основной теме, чтобы не потерять настройку при обновлении.
Если нужно закрыть не только мета-тегом, но и заголовком X-Robots-Tag, можно отправлять его на уровне PHP. Это полезно для архивов, которые отдаются как HTML и должны быть явно помечены для поисковиков.
<?php
add_action( 'template_redirect', function () {
if ( is_tax( array( 'product_cat', 'product_tag', 'news_topic' ) ) || is_tag() ) {
header( 'X-Robots-Tag: noindex, follow', true );
}
} );Если таксономия вообще не нужна в публичной части, лучше отключить её архивы на этапе регистрации. Для кастомной таксономии это делается через аргумент publicly_queryable и, при необходимости, rewrite. Но тут важно понимать последствия: если архив отключён, старые ссылки могут отдавать 404, и это надо проверить отдельно.
<?php
register_taxonomy( 'news_topic', array( 'post' ), array(
'label' => 'Темы',
'public' => true,
'publicly_queryable'=> false,
'rewrite' => false,
'show_ui' => true,
'show_in_rest' => true,
) );Как сделать это через SEO-плагин
Если у вас уже стоит SEO-плагин, обычно проще закрыть архивы в его настройках, чем писать свой код. Важно только не смешивать несколько источников управления robots-метками: когда один плагин ставит index, а другой — noindex, результат становится непредсказуемым.
В большинстве случаев логика такая:
- для рубрик — оставить индексируемыми только полезные;
- для меток — закрыть почти всё, если они не несут самостоятельной ценности;
- для кастомных таксономий — решать отдельно по каждой;
- проверить, не дублирует ли SEO-плагин ваши ручные мета-теги.
Если вы используете Clearfy Pro, там удобно добираться до типовых SEO-дублей и технических страниц без правки шаблонов. Но даже в этом случае стоит сверить, какой именно архив закрывается и не конфликтует ли настройка с другим SEO-модулем.
Проверка результата после внедрения
После правок не ограничивайтесь просмотром исходника страницы. Нужно убедиться, что поисковый робот увидит именно то, что вы ожидаете.
- Откройте архив в браузере и проверьте исходный код на наличие
noindex,follow. - Посмотрите заголовки ответа, если используете
X-Robots-Tag. - Проверьте страницу через инструмент проверки URL в Google Search Console.
- Убедитесь, что внутренние ссылки на архивы не сломались.
- Если архив был в индексе, дождитесь переобхода и отслеживайте статус в Search Console.
Для быстрой проверки заголовков можно использовать curl:
curl -I https://example.com/taxonomy/news_topic/В ответе должен быть либо заголовок X-Robots-Tag: noindex, follow, либо вы должны увидеть его в HTML-источнике страницы, если используете мета-тег.
Частые ошибки и как их исправить
Закрыли через robots.txt, но URL остался в индексе
Это нормальная ситуация. robots.txt запрещает обход, но не гарантирует удаление из индекса. Если страница уже известна поисковику, используйте noindex и дождитесь переобхода.
Поставили noindex и одновременно запретили обход
Так делать не стоит, если цель — убрать страницу из индекса. Когда робот не может зайти на страницу, он не увидит мета-тег noindex. В итоге URL может висеть в индексе дольше, чем нужно.
Закрыли все рубрики подряд
Это частая ошибка после массовой настройки SEO-плагина. Если рубрика даёт трафик и содержит полезный текст, её лучше оставить открытой. Закрывайте только те архивы, которые реально создают дубли или не несут ценности.
Сломали архивы после отключения rewrite
Если вы отключили rewrite у таксономии, проверьте старые ссылки, хлебные крошки и виджеты. Иногда тема или плагин продолжают строить URL по старому шаблону, и пользователи получают 404.
Чек-лист перед публикацией изменений
- определён список конкретных таксономий и архивов, которые надо закрыть;
- понятно, нужен ли
noindexили достаточно отключить архив; - проверено, не используется ли этот архив в навигации и хлебных крошках;
- исключены конфликты между SEO-плагином и ручным кодом;
- проверены заголовки ответа и исходный код страницы;
- после изменений отслеживается статус URL в Search Console.
Практические советы по безопасности и производительности
Если вы вносите правки кодом, не редактируйте файл темы напрямую на боевом сайте. Используйте дочернюю тему или mu-plugin, чтобы не потерять изменения при обновлении. Для массовых SEO-настроек лучше сначала протестировать на staging-копии: там проще увидеть, какие архивы реально закрылись и не появились ли лишние 404.
Ещё один полезный момент: если архивы таксономий создаются автоматически и их много, не пытайтесь лечить проблему только мета-тегами. Иногда правильнее пересмотреть структуру контента, убрать лишние метки и сократить число пустых архивов. Это уменьшает нагрузку на обход и делает сайт чище для пользователей и поисковых систем.
Если нужен более широкий контроль над дублями, техническими страницами и SEO-метками, имеет смысл смотреть не только на отдельные правки, но и на системную чистку сайта. В таких задачах часто помогает набор настроек уровня Clearfy Pro: он закрывает типовые дубли и упрощает управление техническими страницами без ручного вмешательства в шаблоны.