Файл robots.txt и карта сайта sitemap.xml — два краеугольных элемента технического SEO. Ошибка в robots.txt может закрыть от индексации целые разделы сайта, а отсутствие sitemap замедляет обход новых страниц поисковыми роботами. Наш инструмент проверяет оба файла за несколько секунд: вы сразу видите, что разрешено, что заблокировано и где допущены типичные ошибки.
Как пользоваться инструментом
Введите адрес сайта в поле выше и нажмите «Проверить». Инструмент автоматически запросит /robots.txt и /sitemap.xml, разберёт содержимое и выведет структурированный результат. Никаких регистраций и API-ключей не требуется.
- Вставьте URL сайта (с протоколом или без — инструмент исправит сам).
- Нажмите кнопку проверки и дождитесь ответа — обычно это 2–5 секунд.
- Изучите содержимое robots.txt, найденные директивы и ссылку на sitemap.
- Устраните найденные проблемы и перепроверьте сайт повторно.
Что показывает результат
Инструмент выводит содержимое файла robots.txt и обращает внимание на ключевые элементы:
- User-agent — к каким роботам применяется блок правил (Googlebot, Yandex, * — все).
- Disallow / Allow — какие пути закрыты или явно открыты для индексации.
- Ссылка на sitemap — инструмент проверяет, указан ли путь к карте сайта внутри robots.txt и доступен ли сам файл sitemap.xml по адресу домена.
- Доступность файлов — возвращает ли сервер корректный ответ (200) для robots.txt и sitemap.xml.
Если robots.txt недоступен или возвращает 404 — поисковики трактуют это как «всё открыто». Это не всегда проблема, но знать об этом стоит.
Частые вопросы
Что значит директива Disallow: /?
Слэш / после Disallow означает запрет на индексацию всего сайта для указанного user-agent. Это частая случайная ошибка на новых или тестовых сайтах — разработчики забывают убрать её перед выходом в продакшн.
Обязателен ли файл sitemap.xml?
Технически нет, но практически — да. Без sitemap поисковый робот обнаруживает страницы только через внутренние ссылки, что особенно критично для крупных или молодых сайтов. Google и Яндекс официально рекомендуют использовать XML-карту сайта, а её наличие в robots.txt ускоряет повторный обход после обновлений.
Если страница закрыта в robots.txt, поисковик её не найдёт?
Не совсем. Директива Disallow запрещает обход, но не гарантирует удаление из индекса. Если на закрытую страницу ведут внешние ссылки, поисковик может занести её в индекс без содержимого. Чтобы полностью исключить страницу из выдачи, используйте мета-тег noindex вместе с Disallow или вместо него.
Насколько часто нужно проверять robots.txt?
После каждого крупного изменения структуры сайта: смены CMS, редизайна, добавления новых разделов или переезда на HTTPS. Также стоит проверять файл, если в Google Search Console или Яндекс.Вебмастере появились предупреждения о проблемах с индексацией.
Хотите разобраться глубже? Читайте наше подробное руководство по robots.txt и sitemap — с примерами правильных конфигураций для популярных CMS.