После публикации новой страницы важно проверить не только то, что она открывается в браузере. Поисковая система должна обнаружить URL, получить ответ без технических запретов, обработать содержимое и добавить страницу в свой индекс. Проверка индексации новой страницы занимает несколько минут, если идти по понятному порядку и разделять проблемы обхода, обработки и ранжирования.
Что означает «страница проиндексирована»
Индекс — база документов, которые поисковая система сочла пригодными для показа. Робот может знать о URL, но ещё не добавить его в индекс. Может быть и обратная ситуация: страница уже найдена, но исключена из поиска из-за директивы noindex, дубля, канонической ссылки или низкой ценности. Поэтому один запрос в поиске не даёт полной картины.
Проверка состоит из трёх вопросов. Видит ли робот URL? Может ли он получить содержимое и необходимые ресурсы? Считает ли поисковая система страницу самостоятельной и полезной для индекса? Ответы ищут в Яндекс Вебмастере, Google Search Console и исходном коде сайта.
Быстрый чек-лист перед отправкой URL
- Откройте страницу в режиме без авторизации и проверьте код ответа.
- Убедитесь, что URL не закрыт в robots.txt и meta robots не содержит noindex.
- Проверьте каноническую ссылку: она должна указывать на нужный адрес или отсутствовать по осознанной причине.
- Добавьте страницу в XML-карту сайта, если она должна индексироваться.
- Поставьте внутреннюю ссылку с релевантной уже доступной страницы.
- Убедитесь, что на странице есть уникальный заголовок, текст и корректный HTML.
Проверка в Яндекс Вебмастере
Откройте инструмент проверки страницы и вставьте полный URL с правильным протоколом и слешами. Сервис покажет, когда робот последний раз обращался к адресу, доступна ли страница для обхода и какое состояние индексации зафиксировано. Если URL ещё не посещался, это не означает ошибку: роботу нужно время, а ускорить обнаружение можно внутренними ссылками и картой сайта.
Изучите блоки с ответом сервера, директивами robots и каноническим адресом. Код 200 означает успешную выдачу документа, но сам по себе не гарантирует индексацию. Перенаправление 301 ведёт на другой URL, а 404 и 410 сообщают об отсутствии страницы. Если проверяемый адрес канонизирован на другую страницу, в индексе может появиться именно канонический вариант.
После исправлений повторите проверку и отправьте URL на переобход, если инструмент предлагает такую возможность. Не следует нажимать отправку десятки раз: это не заменяет исправление причины и не гарантирует мгновенное появление страницы в результатах.
Проверка в Google Search Console
В Search Console используйте инструмент проверки URL. Сначала выберите правильный ресурс: для доменного свойства и свойства с префиксом URL набор данных может отличаться. Вставьте адрес страницы и дождитесь результата проверки. Сервис отдельно показывает, есть ли URL в Google, и позволяет запросить индексирование после публикации или исправлений.
Если страница не в индексе, прочитайте причину в разделе «Индексирование страницы». Частые варианты — обнаружена, но пока не проиндексирована; просканирована, но пока не проиндексирована; заблокирована robots.txt; дубликат с выбранной другой канонической страницей. Формулировки нужно сопоставить с кодом страницы и настройками CMS.
Проверьте мобильную версию и доступность важных ресурсов. Если CSS или JavaScript блокируются, Google может оценить страницу иначе, чем пользователь. Для обычной статьи критична прежде всего доступность основного HTML, но проблемы с ресурсами могут повлиять на качество отображения и итоговую оценку.
Как проверить robots.txt
Откройте файл по адресу https://example.ru/robots.txt и найдите правила для робота, под которым выполняется обход. Запрет каталога или шаблона URL может закрыть новую страницу вместе с другими материалами. Директива Disallow действует на обход, но не всегда удаляет уже известный URL из результатов, поэтому отдельно проверяют noindex и заголовок X-Robots-Tag.
Не закрывайте в robots.txt раздел только потому, что в нём есть служебные параметры. Сначала определите точное правило и убедитесь, что оно не совпадает с нужным путём. После изменения файла очистите кэш и проверьте доступ снова.
XML-карта сайта и внутренние ссылки
Карта сайта сообщает поисковику о важных URL, но не является гарантией индексации. В неё включают только канонические страницы, которые отвечают кодом 200. Страницы с редиректом, ошибкой или noindex в карте создают лишние сигналы и затрудняют диагностику.
Внутренняя ссылка помогает роботу обнаружить материал и передаёт ему контекст. Ссылайтесь с тематически близких страниц естественным анкором: название инструкции, термин или действие. Не нужно дублировать ссылку в каждом блоке; достаточно нескольких понятных переходов из уже доступных материалов.
Каноническая ссылка, дубли и параметры
Проверьте элемент rel="canonical" в исходном коде. Он должен быть абсолютным или корректно разрешаться браузером, использовать нужный протокол и совпадать с предпочтительным URL. Ошибка в домене, протоколе, слеше или параметрах может привести к выбору другого адреса.
Дубли появляются из-за параметров сортировки, версий с www, слеша на конце, страниц пагинации и альтернативных форматов. Сначала приведите ссылки к единой структуре через редиректы и canonical, а затем оставьте в карте только основной вариант. Если контент страниц различается, не объединяйте их механически: поисковой системе нужен ясный сигнал о назначении каждой страницы.
Как понять причину задержки
| Симптом | Что проверить | Следующий шаг |
|---|---|---|
| URL не найден роботом | Внутренние ссылки, sitemap, доступность раздела | Добавить ссылку и отправить карту на обновление |
| Обход запрещён | robots.txt, meta robots, X-Robots-Tag | Убрать запрет и повторить проверку |
| Дубликат | canonical, похожие страницы, параметры | Выбрать основной URL и согласовать сигналы |
| Просканирована, но не в индексе | Уникальность, полезность, тонкий контент | Расширить ответ на интент и улучшить связность |
Что проверить в исходном коде
Откройте исходный HTML и найдите title, description, H1, canonical и meta robots. Убедитесь, что основной текст присутствует в серверной разметке и не появляется только после выполнения скрипта, если это не предусмотрено архитектурой. Проверьте, что изображения имеют понятные URL, а ссылки не ведут на временные адреса.
Если сайт использует кэш или CDN, убедитесь, что робот получает свежую версию страницы. Иногда редактор уже исправил noindex, но прокси продолжает отдавать старый заголовок. Сравните ответ из браузера, команды проверки заголовков и данные в панелях вебмастеров.
Когда повторять проверку
После публикации сделайте первичный технический контроль сразу, а затем повторите его после первого обхода. Не оценивайте результат по одному запросу site: — оператор показывает неполную выборку и может запаздывать. Надёжнее смотреть статус URL в инструментах вебмастеров и отчёты по индексированию.
Если после исправления причина устранена, дайте поисковой системе время на повторный обход. Пока страница не появилась, продолжайте проверять доступность и не создавайте несколько дублей с похожим содержанием. Последовательная диагностика быстрее бесконечной отправки одного и того же URL.
Итоговый порядок действий
Оптимальный порядок прост: открыть URL, проверить код и директивы, сопоставить canonical, добавить страницу в карту и внутренние ссылки, затем проверить её в Яндекс Вебмастере и Google Search Console. Если сервис показывает исключение, исправлять нужно конкретную причину — запрет, дубль, ошибку ответа или недостаточную ценность. Такой чек-лист помогает понять, на каком этапе находится страница, и не путать обнаружение, обход и фактическое включение в индекс.