Robots.txt и Sitemap.xml: полный гайд для начинающих

Что такое robots.txt

Robots.txt — это текстовый файл в корне сайта, который говорит поисковым роботам, какие разделы сайта можно сканировать, а какие — нельзя. Это первый файл, который робот запрашивает при посещении вашего сайта.

Файл располагается по адресу https://вашсайт.ru/robots.txt и должен быть доступен по HTTP с кодом ответа 200.

Как правильно составить robots.txt

Базовая структура файла:

User-agent — указывает, для какого робота правила. Символ * означает «для всех».

Allow — разрешает сканирование указанного пути.

Disallow — запрещает сканирование. Оставьте пустым (Disallow:) если хотите разрешить всё.

Sitemap — указывает путь к карте сайта. Можно указать несколько.

Host — основное зеркало сайта (используется Яндексом).

Частые ошибки в robots.txt

• Disallow: / — запрещает индексацию ВСЕГО сайта. Часто оставляют после разработки на тесте
• Блокировка CSS и JS — роботу нужно видеть стили и скрипты, чтобы оценить рендеринг страницы
• Блокировка изображений — теряете трафик из поиска по картинкам
• Нет директивы Sitemap — робот может не найти карту сайта автоматически
• Файл недоступен (404 или 5xx) — робот считает, что всё разрешено, но логирует ошибку

Что такое sitemap.xml

Sitemap.xml — это XML-файл со списком всех важных страниц вашего сайта. Он помогает поисковым роботам обнаружить страницы, которые могут быть плохо связаны внутренними ссылками, и быстрее проиндексировать новый контент.

Структура sitemap.xml

loc — полный URL страницы (обязательное поле).

lastmod — дата последнего изменения. Помогает роботу понять, когда перекраулить страницу.

changefreq — как часто страница меняется: always, hourly, daily, weekly, monthly, yearly, never.

priority — приоритет от 0.0 до 1.0. Главная — 1.0, важные разделы — 0.8, второстепенные — 0.5.

Правила создания sitemap

• Включайте только страницы с кодом 200 (не 301, не 404)
• Не включайте страницы с noindex
• Не включайте страницы, заблокированные в robots.txt
• Максимум 50 000 URL или 50 МБ в одном файле
• Для крупных сайтов используйте sitemap-index (индекс карт сайтов)
• URL в sitemap должны совпадать с canonical
• Обновляйте sitemap при добавлении или удалении страниц
• Отправьте sitemap в Яндекс.Вебмастер и Google Search Console

Как отправить sitemap в поисковики

Яндекс

Зайдите в Яндекс.Вебмастер → Индексирование → Файлы Sitemap → введите URL вашего sitemap.xml и нажмите «Добавить».

Google

Зайдите в Google Search Console → Файлы Sitemap → введите «sitemap.xml» и нажмите «Отправить».

Через IndexNow (мгновенное уведомление)

IndexNow позволяет мгновенно уведомить Яндекс и Bing о новых или изменённых страницах. Это значительно ускоряет индексацию по сравнению с ожиданием очередного краула.

Как проверить robots.txt и sitemap

Вы можете проверить эти файлы вручную: откройте https://вашсайт.ru/robots.txt и https://вашсайт.ru/sitemap.xml в браузере. Или используйте Audit4SEO — наш сервис автоматически проверяет наличие и корректность обоих файлов в рамках общего SEO-аудита.