Robots.txt и sitemap.xml простыми словами: зачем они сайту

Коротко: Robots.txt - список разделов, куда роботам заходить не нужно. Sitemap.xml - список страниц, которые нужно показать поисковику. Ошибка в первом может закрыть весь сайт от поиска, поэтому проверять его стоит первым.

Что это за файлы?

Оба лежат в корне сайта и предназначены роботам, а не людям. Их можно открыть в браузере: допишите к адресу сайта /robots.txt или /sitemap.xml.

Сравнение

Два файла и их задачи

	robots.txt	sitemap.xml
Что говорит роботу	Куда заходить не нужно	Какие страницы есть на сайте
Обязателен?	Нет, но почти всегда есть	Нет, но ускоряет обход
Чем опасна ошибка	Можно закрыть весь сайт	Робот позже найдёт новые страницы
Кто создаёт	Программист или система сайта	Обычно система сайта сама

Как выглядит robots.txt?

Это несколько строк текста. В них указано, какому роботу что запрещено, и адрес карты сайта.

Пример

Обычный robots.txt

Содержимое файла

User-agent: *
Disallow: /admin/
Disallow: /search/

Sitemap: https://ваш-сайт.ru/sitemap.xml

Всем роботам запрещены служебные разделы, остальное открыто. Внизу адрес карты сайта.

Какие ошибки встречаются?

Ошибки

Три частые ошибки

Закрыт весь сайт

строка Disallow: /

часто остаётся после разработки
сайт пропадает из поиска

Закрыты нужные разделы

каталог или блог

страницы есть, а в поиске их нет

Закрыты роботы нейросетей

запрет для OAI-SearchBot

сайт не попадёт в ответы поиска ChatGPT

Первую ошибку мы встречаем чаще всего: сайт закрывают на время разработки и забывают открыть.

Как выглядит sitemap.xml?

Это список адресов страниц. У каждой может стоять дата последнего изменения.

Пример

Одна запись в карте сайта

Фрагмент файла

<url>
  <loc>https://ваш-сайт.ru/uslugi/remont-krovli/</loc>
  <lastmod>2026-10-07</lastmod>
</url>

Адрес страницы и дата, когда её меняли в последний раз.

Карту сайта отправляют в Яндекс Вебмастер и в Google Search Console. Мы сделали это для своего сайта в день запуска.

Как проверить свои файлы?

Проверка

Три действия

Открыть /robots.txtОткрыть /sitemap.xmlПосмотреть Вебмастер

В robots.txt нет строки Disallow: / для всех роботов
В sitemap.xml есть ваши главные страницы
В Вебмастере карта сайта принята без ошибок

А что такое llms.txt?

Это новый необязательный файл: короткое описание сайта для нейросетей. Мы его ставим, но в рекомендациях Яндекса его нет, поэтому рассчитывать только на него не стоит.

Вопросы и ответы

Скрывает ли robots.txt страницу от людей?

Нет. Он только просит роботов не заходить. Страница остаётся доступной по прямой ссылке.

Нужно ли обновлять карту сайта вручную?

Обычно нет: система сайта обновляет её сама при добавлении страниц. Проверить стоит, если новые страницы долго не появляются в поиске.

Что важнее, robots.txt или sitemap?

Проверять первым стоит robots.txt: ошибка в нём может закрыть весь сайт.

Источники

Сведения из справки Яндекса и других источников проверены 7 октября 2026 года.