Как настроить robots.txt для WordPress

|

Если robots.txt настроен неаккуратно, можно случайно закрыть от обхода важные страницы, а иногда и весь сайт для поисковых роботов. Для WordPress это особенно частая история: у движка есть свои служебные адреса, а плагины и тема добавляют новые разделы, которые не всегда нужно показывать поиску. Ниже — рабочий подход: что обычно должно быть в robots.txt для WordPress, что лучше не трогать и как проверить, что файл не мешает индексации.

Что делает robots.txt и чего от него не стоит ждать

Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы можно или нельзя обходить. Это не инструмент для «скрытия» страниц от пользователей и не гарантия удаления URL из поиска. Если страница уже известна поисковику, запрет в robots.txt не всегда уберёт её из выдачи — он лишь ограничит обход.

Для WordPress robots.txt нужен в первую очередь для двух задач: не тратить обход на служебные или бесполезные для поиска URL и не создавать лишние дубли. Но закрывать всё подряд нельзя: если запретить важные CSS, JS или публичные разделы, робот может хуже понять сайт, а это уже влияет на индексацию и отображение страниц в поиске.

Какой robots.txt обычно подходит для WordPress

Если у сайта нет особых требований, начинать стоит с простого и безопасного варианта. Для большинства WordPress-сайтов достаточно разрешить обход всему сайту и отдельно указать карту сайта.

Пример базового файла:

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap_index.xml

Здесь строка Disallow: без пути означает, что для всех роботов обход не запрещён. Это нормальная отправная точка, если вы не уверены, что именно нужно закрывать. Строка Sitemap помогает поисковикам быстрее найти карту сайта, если она у вас есть.

Если карта сайта создаётся плагином SEO, адрес может отличаться. Важно указать именно реальный URL, который открывается в браузере и отдаёт XML-карту.

Что обычно закрывают в WordPress и почему

В WordPress есть несколько типов URL, которые часто не нужны в поиске или создают лишний шум. Но закрывать их стоит только тогда, когда вы понимаете, что именно делаете.

  • /wp-admin/ — административная часть сайта. Её обычно не индексируют, но полностью закрывать всё подряд без понимания последствий не нужно.
  • /wp-login.php — страница входа. Она не нужна в поиске, но запрет в robots.txt не защищает от перебора паролей и не заменяет меры безопасности.
  • Параметры сортировки, фильтров и поиска, если они создают много дублей и не несут ценности для поиска.
  • Технические страницы, которые появляются у плагинов и не должны конкурировать с основным контентом.

При этом нельзя автоматически считать, что любой URL с параметром нужно закрыть. Если фильтр или сортировка создают полезные посадочные страницы, их лучше не запрещать без анализа.

Чего лучше не закрывать в robots.txt на WordPress-сайте

Самая частая ошибка — закрыть то, что поисковику нужно видеть для нормальной оценки страницы. На WordPress это особенно опасно, если в robots.txt попадают пути к стилям, скриптам или медиафайлам.

Не стоит без необходимости закрывать:

  • /wp-content/uploads/, если изображения и файлы должны участвовать в поиске и отображаться на страницах;
  • ресурсы CSS и JS, если тема или плагины загружают их из доступных директорий;
  • публичные разделы сайта, которые должны индексироваться: записи, страницы, рубрики, архивы, если вы не решили иначе на уровне SEO-логики.

Если запретить роботу доступ к ресурсам, которые нужны для рендеринга страницы, он может увидеть сайт неполноценно. На практике это особенно заметно на темах и конструкторах, где внешний вид и структура зависят от JavaScript.

Как редактировать robots.txt в WordPress

Есть два нормальных пути: через SEO-плагин или вручную на сервере. Выбор зависит от того, как у вас устроен доступ к хостингу.

Через плагин

Многие SEO-плагины позволяют редактировать robots.txt прямо из админки. Это удобно, если у вас нет доступа к FTP или файловому менеджеру, а также если файл нужно менять без риска случайно удалить что-то лишнее. Но не все плагины создают физический файл на сервере: иногда WordPress отдаёт виртуальный robots.txt через обработчик. Это нормально, если адрес /robots.txt открывается и показывает нужное содержимое.

После сохранения обязательно откройте https://ваш-домен/robots.txt в браузере и проверьте, что там именно тот текст, который вы задали.

Вручную на сервере

Если у вас есть доступ к корню сайта через FTP, SFTP или файловый менеджер хостинга, можно создать или отредактировать файл robots.txt в корне WordPress. Это самый прямой способ, но и самый рискованный, если вы не привыкли работать с файлами сайта: одна лишняя строка может повлиять на обход всего проекта.

Перед изменениями лучше сохранить копию текущего файла. Если что-то пойдёт не так, вы быстро вернёте рабочую версию.

Как не закрыть важные разделы по ошибке

Перед сохранением robots.txt проверьте не только синтаксис, но и смысл каждой директивы. В WordPress ошибка часто выглядит безобидно: добавили запрет на папку, а вместе с ней закрыли изображения, стили или полезные страницы.

Полезная проверка перед публикацией файла:

  • файл открывается по адресу /robots.txt без ошибки 404;
  • в нём нет случайных запретов на весь сайт, если это не было целью;
  • карта сайта указана верно;
  • не закрыты ресурсы, без которых страница выглядит или работает неправильно;
  • не запрещены разделы, которые должны приносить трафик.

Если вы сомневаетесь в конкретной строке, лучше временно убрать её и проверить сайт в поисковых инструментах, чем оставлять запрет «на всякий случай».

Как проверить, что robots.txt работает правильно

Самая простая проверка — открыть /robots.txt в браузере и убедиться, что он отдаёт нужное содержимое. Но этого недостаточно: важно понять, как файл воспринимают поисковые роботы.

Проверьте три вещи:

  1. Файл доступен по HTTPS и отдается с кодом ответа 200.
  2. В нём нет синтаксических ошибок: лишних символов, неправильных путей, опечаток в директивах.
  3. Запрещённые URL действительно относятся к тем разделам, которые вы хотели закрыть.

Если у вас есть доступ к инструментам для вебмастеров поисковой системы, используйте проверку robots.txt там. Это полезно, когда нужно понять, не блокирует ли файл важные страницы или ресурсы. Для WordPress это особенно актуально после смены темы, установки нового SEO-плагина или переноса сайта на другой хостинг.

Практичный шаблон для старта

Если вам нужен безопасный стартовый вариант без лишней экзотики, начните с минимального файла и только потом добавляйте точечные запреты под свои задачи. Для большинства сайтов на WordPress этого достаточно:

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap_index.xml

Дальше уже смотрите по факту: есть ли на сайте служебные URL, которые создают мусор, появляются ли дубли из-за фильтров, не мешает ли robots.txt обходу важных ресурсов. В WordPress лучше добавлять запреты постепенно, а не собирать большой список правил заранее. Так проще понять, какая строка действительно нужна, а какая только мешает.

Если задача не в тонкой настройке, а в том, чтобы убрать лишние технические дубли и не трогать важные страницы, иногда удобнее сначала навести порядок в SEO-настройках сайта, а уже потом править robots.txt. На практике это снижает риск случайно закрыть нужный раздел и упрощает поддержку файла в будущем.

⭐⭐⭐⭐⭐