Что такое robots.txt

Robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам, какие разделы сайта можно сканировать, а какие — нельзя. Это первый файл, который робот запрашивает при посещении вашего сайта.

Файл располагается по адресу https://вашсайт.ru/robots.txt и должен быть доступен по HTTP с кодом ответа 200.

Как правильно составить robots.txt

Базовая структура файла:

i

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/

Sitemap: https://вашсайт.ru/sitemap.xml
Host: вашсайт.ru

User-agent — указывает, для какого робота правила. Символ * означает «для всех».

Allow — разрешает сканирование указанного пути.

Disallow — запрещает сканирование. Оставьте пустым (Disallow:) если хотите разрешить всё.

Sitemap — указывает путь к карте сайта. Можно указать несколько.

Host — основное зеркало сайта (используется Яндексом).

Частые ошибки в robots.txt

  • Disallow: / — запрещает индексацию ВСЕГО сайта. Часто оставляют после разработки на тесте
  • Блокировка CSS и JS — роботу нужно видеть стили и скрипты, чтобы оценить рендеринг страницы
  • Блокировка изображений — теряете трафик из поиска по картинкам
  • Нет директивы Sitemap — робот может не найти карту сайта автоматически
  • Файл недоступен (404 или 5xx) — робот считает, что всё разрешено, но логирует ошибку

Что такое sitemap.xml

Sitemap.xml — это XML-файл со списком всех важных страниц вашего сайта. Он помогает поисковым роботам обнаружить страницы, которые могут быть плохо связаны внутренними ссылками, и быстрее проиндексировать новый контент.

Структура sitemap.xml

i

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://вашсайт.ru/</loc>
    <lastmod>2026-03-24</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>
</urlset>

loc — полный URL страницы (обязательное поле).

lastmod — дата последнего изменения. Помогает роботу понять, когда перекраулить страницу.

changefreq — как часто страница меняется: always, hourly, daily, weekly, monthly, yearly, never.

priority — приоритет от 0.0 до 1.0. Главная — 1.0, важные разделы — 0.8, второстепенные — 0.5.

Правила создания sitemap

  • Включайте только страницы с кодом 200 (не 301, не 404)
  • Не включайте страницы с noindex
  • Не включайте страницы, заблокированные в robots.txt
  • Максимум 50 000 URL или 50 МБ в одном файле
  • Для крупных сайтов используйте sitemap-index (индекс карт сайтов)
  • URL в sitemap должны совпадать с canonical
  • Обновляйте sitemap при добавлении или удалении страниц
  • Отправьте sitemap в Яндекс.Вебмастер и Google Search Console

Как отправить sitemap в поисковики

Яндекс

Зайдите в Яндекс.Вебмастер → Индексирование → Файлы Sitemap → введите URL вашего sitemap.xml и нажмите «Добавить».

Google

Зайдите в Google Search Console → Файлы Sitemap → введите «sitemap.xml» и нажмите «Отправить».

Через IndexNow (мгновенное уведомление)

IndexNow позволяет мгновенно уведомить Яндекс и Bing о новых или изменённых страницах. Это значительно ускоряет индексацию по сравнению с ожиданием очередного краула.

Как проверить robots.txt и sitemap

Вы можете проверить эти файлы вручную: откройте https://вашсайт.ru/robots.txt и https://вашсайт.ru/sitemap.xml в браузере. Или используйте Audit4SEO — наш сервис автоматически проверяет наличие и корректность обоих файлов в рамках общего SEO-аудита.

i

Совет: после любых изменений в robots.txt и sitemap.xml проверьте их через инструмент проверки robots.txt в Яндекс.Вебмастере и Google Search Console. Ошибка в одном символе может заблокировать весь сайт от индексации.