Сначала определите, на каком этапе находится URL
Страница, которая открывается в браузере, может быть неизвестна роботу, запрещена для обхода, исключена из индекса или проиндексирована, но не ранжироваться по проверяемому запросу. Поэтому вопрос «почему страницы нет в поиске» нужно разложить на состояния. Google описывает обход, индексирование и показ результатов как разные этапы. Яндекс отдельно предупреждает: доступность для индексирования ещё не означает участие страницы в поиске. Начинайте с точного URL и отчёта поисковой системы, а не с ручного запроса site:.
- 1. URL обнаруженНа него ведёт ссылка или он указан в Sitemap.
- 2. Робот обошёлСервер ответил, а правила доступа не помешали загрузке.
- 3. URL проиндексированПоиск сохранил страницу или выбрал другой canonical.
- 4. Страница ранжируетсяОна показана по конкретному запросу, региону и устройству.
Проверьте ответ сервера и доступ робота
Запросите URL инструментом проверки страницы в Google Search Console и Яндекс Вебмастере. Убедитесь, что конечная страница отдаёт 200, не требует входа, не попадает в цикл редиректов и не блокируется CDN. Сверьте robots.txt для нужного робота. Запрет обхода и директива noindex решают разные задачи; не пытайтесь управлять индексированием случайной комбинацией правил.
| Наблюдение | Проверить | Что это ещё не доказывает |
|---|---|---|
| URL открывается у сотрудника | Код и HTML для робота | Что робот получил ту же версию |
| URL есть в Sitemap | Обнаружение и последний обход | Что страница индексируется |
| Проверка разрешает индексирование | Фактический статус в отчёте | Что URL включён в поиск |
| URL проиндексирован | Запросы и показы | Что он занимает заметную позицию |
Ищите запреты, дубли и выбранный canonical
Проверьте meta robots и HTTP-заголовок X-Robots-Tag, затем сравните заявленный и выбранный поиском canonical. Если страница повторяет другую категорию, фильтр или региональный текст, система может объединить их и показывать основной URL. Яндекс среди причин исключения указывает запреты, ошибки загрузки, перенаправления, дубли и неканонический адрес. Исправление зависит от причины: снять ошибочный запрет, вернуть полезное содержание, исправить canonical или сделать прямой редирект для действительно лишней версии.
- Проверьте, есть ли на страницу обычная внутренняя ссылка.
- Сравните title, основной текст, товарный состав и задачу с выбранным canonical.
- Уберите из Sitemap редиректы, ошибки и неканонические версии.
- После изменения запросите повторный обход и сохраните дату проверки.
Если URL в индексе, диагностируйте запрос и полезность
Проиндексированная карточка проекта дома может не показываться по широкому запросу «строительство домов», потому что отвечает на более узкую задачу. Посмотрите реальные запросы и показы страницы, регион, устройство и период. Сравните её с результатами, которые видит пользователь: отвечает ли заголовок на вопрос, хватает ли комплектации, цены с условиями, планировок и доказательств. Не выдавайте отсутствие по одному ручному запросу за деиндексацию.
Источники
От разбора — к вашему сайту
Посмотрите состав работ для вашей задачи.
