Robots & Sitemap Check
Проверка robots.txt и Sitemap
Проверим доступность robots.txt, директивы для поисковых роботов, ссылки на Sitemap, корректность XML и количество URL в карте сайта.
Индексационные файлы
Что поисковый робот увидит в служебных файлах
Проверка помогает быстро заметить случайный Disallow: /, недоступную карту сайта, ошибочный XML или отсутствие ссылки Sitemap в robots.txt.
Итог проверки
Что требует внимания
Нужно разобраться с индексацией?
Передадим специалисту адрес сайта, статус robots.txt, Sitemap и найденные ограничения.
robots.txt
Директивы и доступность
- Адрес
- —
- HTTP-код
- —
- User-agent
- —
- Allow
- —
- Disallow
- —
- Sitemap в robots.txt
- —
Sitemap
Проверенные карты сайта
Инструмент проверяет структуру служебных файлов, но не определяет фактический статус индексации каждой страницы в Яндексе или Google.
Что важно
robots.txt и Sitemap решают разные задачи
robots.txt управляет доступом роботов к обходу, а Sitemap помогает обнаруживать URL. Наличие страницы в Sitemap само по себе не гарантирует её индексацию.
robots.txt
Проверяем HTTP-ответ, User-agent, Allow, Disallow и критичное закрытие всего сайта.
Sitemap
Проверяем адреса из robots.txt, XML-структуру и количество элементов <loc>.
Sitemap Index
Распознаём индекс карт сайта отдельно от обычного urlset и показываем количество дочерних записей.
Контекст
Ошибки служебных файлов оцениваем отдельно от meta robots, canonical и HTTP-кодов страниц.