Не обнаружена
Поисковый робот ещё не знает URL или почти не получает сигналов о его существовании.
Практическое SEO · диагностика
Почему страницы сайта не индексируются и не попадают в поиск
Если страница не находится в поиске, сначала нужно понять, на каком этапе возникла проблема: робот ещё не знает URL, не может его загрузить, исключил после обработки или страница уже в индексе, но не отвечает нужному запросу.
Главное различие
«Не индексируется» — это не одна проблема
Пользователь обычно видит один симптом: страницы нет в результатах поиска. Но технически за ним могут стоять совершенно разные ситуации. Поэтому бессмысленно сразу менять текст, отправлять URL на переобход или переписывать robots.txt, не определив текущее состояние страницы.
Не загружается
URL известен, но сервер, robots.txt, редирект или техническая ошибка мешают нормально получить страницу.
Исключена
Страница была обработана, но поисковая система не включила её в поиск: дубль, noindex, canonical, низкая ценность или другая причина.
В индексе, но не ранжируется
Страница участвует в поиске, но не показывается по ожидаемому запросу. Это уже не обязательно проблема индексирования.
Первый вопрос всегда должен звучать так: поисковая система не знает страницу, не может её обработать, исключила её или просто не считает релевантной нужному запросу?
Шаг 1
Определяем состояние страницы
В Яндекс Вебмастере для этого полезны разделы «Страницы в поиске», «Статистика обхода» и инструмент анализа индексирования страницы. Один и тот же URL может быть известен роботу, но не участвовать в поиске — это принципиально разные состояния.
| Состояние | Что это означает | Что проверять первым | Что не делать сразу |
|---|---|---|---|
| URL неизвестен | Робот ещё не обнаружил адрес | Внутренние ссылки, Sitemap, доступность раздела | Переписывать контент без проверки обнаружения |
| URL известен, но не загружен | Страница стоит в очереди либо мешает техническая причина | robots.txt, сервер, HTTP-ответ, скорость и стабильность | Считать это санкцией или фильтром |
| Загружен, но исключён | Робот обработал документ, но не включил его в поиск | Причину исключения, noindex, canonical, дубли, качество | Отправлять на переобход десятки раз |
| Страница в поиске | URL индексируется, но может не ранжироваться по выбранной фразе | Интент, релевантность, конкуренцию, содержание и структуру | Искать техническую «ошибку индексации», которой нет |
Яндекс прямо разделяет обход и участие в поиске: страница может быть загружена роботом и при этом исключена из результатов. Для конкретного URL удобно использовать анализ индексирования страницы.
Шаг 2
Если робот ещё не знает страницу
Поисковый робот должен сначала обнаружить URL. Обычно он узнаёт о новых страницах из внутренних и внешних ссылок, Sitemap и уже известных разделов сайта. Если новый документ существует только потому, что его адрес известен владельцу, но на него нигде не ведёт ссылка, он легко становится «сиротой».
Что проверить
Есть ли ссылка на страницу из категории, меню, связанной статьи, хлебных крошек или другого логичного раздела? Присутствует ли канонический URL в Sitemap? Не создаётся ли ссылка только после клика или сложного JavaScript-сценария? Не спрятан ли нужный раздел за формой, фильтром или внутренним поиском?
Sitemap помогает сообщить поисковой системе об актуальных адресах, но не заменяет понятную ссылочную структуру. Для важных страниц лучше сочетать оба сигнала.
Шаг 3
Проверяем robots.txt, meta robots и noindex
Здесь важно не смешивать управление обходом и управление участием в поиске. robots.txt в первую очередь ограничивает загрузку URL роботом. При этом Яндекс отдельно предупреждает: адрес, закрытый в robots.txt, всё равно может участвовать в поиске, если поисковой системе известен сам URL. Для удаления страницы из поиска используют директиву noindex в HTML или HTTP-заголовке.
Disallow
Проверяем, не закрывает ли правило нужную категорию, статью, ресурсы CSS/JS или слишком широкий шаблон URL.
meta robots
Ищем noindex и none, особенно после переноса с тестового окружения или изменения шаблона.
HTTP-заголовок
X-Robots-Tag тоже может запрещать индексирование, хотя в HTML визуально всё выглядит нормально.
Разные роботы
Правила для общего User-agent и отдельных поисковых роботов могут конфликтовать или отличаться.
Актуальные правила Яндекса: использование robots.txt и причины исключения страниц из поиска.
Шаг 4
Проверяем HTTP-ответ и редиректы
Страница может открываться у владельца в браузере, но для робота отвечать иначе. На практике это бывает из-за CDN, правил безопасности, авторизации, нестабильного backend, географических ограничений, некорректных редиректов или различий по User-Agent.
Для индексируемого URL ожидаем финальный 200 OK. Если адрес постоянно перенесён, он должен вести на релевантную новую страницу через постоянный редирект. Если ресурс удалён, нормальны 404 или 410 — но внутренние ссылки и Sitemap не должны продолжать считать такой URL актуальным.
| Ответ | Что может происходить | Риск для индексации | Что делать |
|---|---|---|---|
| 200 | Страница доступна, но возможен soft 404 или пустой шаблон | Робот получает URL, но документ может быть исключён | Проверить содержимое, canonical и полезность страницы |
| 301 / 308 | URL постоянно перенаправлен | В поиске должен закрепиться конечный адрес | Проверить точность цели и отсутствие цепочки |
| 302 / 307 | Временный редирект | Не подходит для постоянного переезда структуры | Использовать по реальному назначению |
| 404 / 410 | Страницы нет | Такой URL не должен оставаться рабочей посадочной | Убрать внутренние ссылки либо восстановить релевантную страницу |
| 5xx | Сервер не может обработать запрос | Робот не получает документ | Проверить логи, приложение, БД, proxy и нагрузку |
Шаг 5
Проверяем canonical и дубли
Иногда «пропавшая» страница на самом деле не пропала: поисковик объединил её с другой версией и показывает канонический URL. Это характерно для параметров, фильтров, дублей со слешем и без, одинаковых карточек, технических версий страниц и нескольких адресов с почти одинаковым содержимым.
Если rel="canonical" указывает на другую страницу, Яндекс может считать текущий URL неканоническим. Но canonical — рекомендация, а не абсолютная команда: поисковая система сопоставляет её с содержимым, внутренними ссылками и другими сигналами.
Типичные конфликтные ситуации
Страница указывает canonical на другой URL, но сама включена в Sitemap. Внутренние ссылки ведут на неканонический адрес. После переноса шаблон сохранил canonical на старый или тестовый домен. Несколько страниц отличаются только заголовком или параметром и фактически дублируют друг друга.
Яндекс отдельно обозначает состояние «Неканоническая» для страниц, которые индексируются по другому каноническому адресу. Документация по canonical.
Шаг 6
Страница может быть доступной, но всё равно не попасть в поиск
Это один из самых важных случаев. Исправный HTTP 200, отсутствие noindex и корректный robots.txt ещё не означают, что поисковая система обязана включить страницу в результаты. Яндекс прямо указывает среди причин исключения малоценность или низкую востребованность документа.
В качестве примеров Яндекс приводит страницы без содержательного наполнения, дубли уже известных документов, страницы, которые недостаточно соответствуют интересам пользователей, а также многочисленные очень похожие товарные варианты, пагинацию, подборы и сравнения. Само наличие таких исключений не означает нарушение или санкцию.
Пустой шаблон
Есть H1 и несколько стандартных блоков, но почти нет самостоятельного ответа или предложения.
Почти дубль
Меняется только город, цвет, характеристика или одно предложение, а смысл страницы остаётся тем же.
Нет самостоятельного интента
URL создан технически, но пользовательская задача не отличается от уже существующей страницы.
Неактуальный документ
Страница перестала отвечать текущему спросу, содержит устаревшую информацию или потеряла практическую ценность.
Яндекс о причинах исключения страниц рекомендует проверять не только технические настройки, но и уникальность, полноту, востребованность и актуальность материала.
Шаг 7
Проверяем JavaScript и фактический контент страницы
Если сайт строит основное содержимое на клиенте, робот может получить другой результат, чем пользователь после нескольких секунд работы JavaScript. Особенно это важно для SPA, фильтров, каталогов, кабинетов и страниц, где данные приходят через API.
Сравниваем исходный HTML и итоговый DOM. Проверяем, есть ли в документе основной текст, ссылки, заголовок, canonical и контент, который определяет смысл страницы. Отдельно смотрим сетевые ошибки: если API периодически отвечает 500 или ресурс блокируется, страница может оказаться фактически пустой.
Google также использует отдельный этап рендеринга для JavaScript-страниц, но независимо от поисковой системы принцип практической проверки один: важный документ должен устойчиво отдавать содержимое и ссылки, а не зависеть от случайно сработавшего frontend-сценария.
Отдельный сценарий
Почему страницы исчезают после переноса или редизайна
После миграции причина часто находится не в «новом алгоритме», а в изменениях, которые произошли одновременно: адреса стали другими, старые URL перестали отвечать, редиректы ведут на главную, canonical остался от тестового домена, Sitemap содержит старую структуру, а внутренние ссылки ещё не обновлены.
Поэтому перед переездом полезно сохранить список старых индексируемых адресов, а после запуска пройти цепочку: старый URL → редирект → новый URL → HTTP 200 → правильный canonical → внутренняя ссылка → Sitemap.
Если после переноса выпало сразу много страниц одного типа, сначала ищите общую шаблонную или инфраструктурную причину, а не пытайтесь исправлять каждый URL отдельно.
Алгоритм
Диагностика страницы, которой нет в поиске
Чтобы не метаться между контентом, robots.txt и переобходом, идём от простого к сложному. Каждый следующий шаг имеет смысл только после предыдущего.
Проверить статус URL
Известна ли страница поисковой системе и участвует ли она в поиске сейчас.
Проверить HTTP
Что реально получает робот: 200, редирект, 404, 5xx или другой ответ.
Проверить запреты
robots.txt, meta robots, X-Robots-Tag и ограничения доступа.
Проверить canonical
Не объявлена ли другая версия основной и не конфликтуют ли сигналы.
Проверить обнаружение
Есть ли внутренние ссылки и корректная запись в Sitemap.
Проверить содержимое
Виден ли основной контент роботу и имеет ли страница самостоятельную ценность.
Проверить шаблон
Если проблема массовая, ищем общую причину для типа страниц, а не чиним URL по одному.
Перепроверить после исправления
Отправить важный URL на переобход и дождаться нового обращения робота.
Переобход — это не «кнопка включить в индекс». Он помогает быстрее сообщить об изменении, но не отменяет технические запреты, дубли и решение алгоритма о качестве документа.
Практический пример
Страница услуги открывается, но Яндекс её исключил
Представим обычную ситуацию: страница открывается по прямой ссылке, возвращает 200 OK, владелец несколько раз отправлял её на переобход, но в поиске URL всё равно нет. Диагностика по цепочке быстро сужает круг причин.
| Проверка | Результат | Что это значит | Следующий шаг |
|---|---|---|---|
| HTTP-ответ | 200 OK | Сервер отдаёт документ | Проверяем не только доступность, но и индексирующие сигналы |
| robots / noindex | Запретов нет | Явного технического запрета не обнаружено | Проверяем canonical и статус в Вебмастере |
| Canonical | Указывает на другую похожую услугу | Сайт сам рекомендует другой URL как основной | Понять, дубль это или самостоятельная страница |
| Контент | Различается только H1 и город | Самостоятельная ценность URL сомнительна | Объединить страницы либо существенно развести задачи |
| Внутренние ссылки | На URL ведёт одна ссылка из Sitemap | Страница слабо встроена в архитектуру | Если URL действительно нужен — связать его с релевантным разделом |
200 OKещё не означает индексирование
Canonical + дубльобъясняют исключение
Архитектурное решениеобъединить или развести интент
В таком сценарии бессмысленно ещё десять раз отправлять URL на переобход. Нужно устранить противоречие: либо признать страницу дублем и не пытаться индексировать её отдельно, либо дать ей самостоятельную задачу, содержание и согласованные технические сигналы.
Частые ошибки
Что мешает найти настоящую причину
Путать индекс и позиции
Страница может быть в индексе и не показываться по нужной фразе. Это уже вопрос релевантности и конкуренции.
Переобход вместо диагностики
Повторная отправка URL не исправляет noindex, неверный canonical, 404 или дублирование.
Смотреть только браузер
Робот может получать другой HTTP-ответ, другой контент или ограничения, которых владелец не видит.
Исправлять один URL
Если выпал целый тип страниц, вероятнее всего проблема находится в общем шаблоне, CMS или серверной конфигурации.
Индексировать всё подряд
Фильтры, параметры, пустые теги и почти одинаковые страницы не обязаны становиться отдельными поисковыми документами.
Ждать мгновенного результата
После исправления робот должен снова посетить страницу, а поисковой системе нужно обработать новые сигналы.
Чек-лист
Что проверить, если страница не индексируется
- Уточнить состояние URL: неизвестен, обойдён, исключён или уже участвует в поиске.
- Проверить HTTP-ответ: финальный 200 для рабочей страницы, без неожиданных редиректов и 5xx.
- Проверить robots.txt: нет ли случайного Disallow для страницы, раздела или ресурсов.
- Проверить meta robots и X-Robots-Tag: нет ли noindex или none.
- Проверить canonical: указывает ли он на правильную основную версию.
- Найти дубли: параметры, фильтры, слеши, зеркала, технические и региональные копии.
- Проверить внутренние ссылки: страница не должна быть сиротой, если она важна для поиска.
- Проверить Sitemap: включён актуальный канонический URL, а не устаревшая или перенаправленная версия.
- Проверить фактический контент: робот получает не пустой шаблон и не ошибку JavaScript/API.
- Оценить самостоятельную ценность: страница отвечает отдельному интенту и не является почти дублем.
- Проверить масштаб: если проблема у многих URL, искать общую шаблонную причину.
- После исправления перепроверить: HTTP, canonical, ссылки, Sitemap и затем отправить важный URL на переобход.
Вопросы
Короткие ответы
Сколько ждать индексации новой страницы?
Универсального срока нет. Он зависит от того, как быстро робот обнаружит URL, как часто обходит сайт и что происходит после обработки страницы. Если URL важный, проверьте внутреннюю ссылку, Sitemap, техническую доступность и используйте переобход после публикации.
Почему страница есть в Sitemap, но её нет в поиске?
Sitemap помогает сообщить об URL, но не гарантирует включение в поиск. После загрузки документ всё равно оценивается на техническую корректность, дублирование, каноничность и полезность.
Может ли robots.txt удалить страницу из поиска?
Не всегда. Яндекс прямо указывает, что ограниченный в robots.txt URL может участвовать в поиске, если адрес известен системе. Для запрета индексирования используют noindex в HTML или HTTP-заголовке.
Почему страница была в поиске, а потом исчезла?
Проверьте изменение HTTP-ответа, robots/noindex, canonical, редиректы, содержание, структуру внутренних ссылок и причину исключения в Вебмастере. После редизайна и миграций особенно важны массовые шаблонные изменения.
Если страница индексируется, но не показывается по запросу — это техническая проблема?
Не обязательно. Если URL участвует в поиске, дальше нужно смотреть соответствие интенту, содержание, структуру сайта и конкуренцию по конкретному запросу.
Практика NIC-SEO
Не заставлять индексироваться, а найти причину
Мы начинаем с состояния URL и последовательно проверяем доступность, управляющие директивы, canonical, внутреннюю структуру и содержание. Это быстрее и безопаснее, чем менять сразу всё подряд.
Для системной проверки используйте полный технический SEO-аудит. Если проблема появилась после переезда, отдельно проверьте миграцию сайта.