После запуска сайта поисковику нужно найти новые URL и понять, какие разделы можно обходить. Sitemap.xml подсказывает список важных страниц, а robots.txt задаёт правила доступа к путям. Ошибка в одном файле не всегда заметна в браузере, поэтому проверяйте доступность, содержимое и соответствие фактической структуре сайта.
Откройте файлы по точному адресу
Начните с https://домен/robots.txt и https://домен/sitemap.xml либо с адреса, указанного в robots.txt. Оба ответа должны возвращаться без бесконечной цепочки редиректов и неожиданной авторизации. Проверьте код ответа, тип содержимого и дату обновления после публикации.
Если сайт использует индекс карт, откройте каждый дочерний файл. Убедитесь, что ссылка на карту не ведёт на старый домен, тестовый поддомен или HTTP-версию. В CMS адрес может меняться после смены плагина, темы или структуры постоянных ссылок.
Проверьте правила robots.txt
В robots.txt перечислены группы User-agent и директивы Allow или Disallow. Найдите случайный запрет для всего сайта и отдельные запреты на папки с важным контентом. Служебные URL можно закрывать, но правило не должно блокировать CSS, JavaScript и страницы, которые нужно увидеть роботу.
Директива Sitemap должна содержать абсолютный URL карты. Помните, что robots.txt управляет обходом, но сам по себе не заменяет noindex и не гарантирует исключение уже известных URL. Решение о закрытии принимайте для конкретного сценария, а не копируйте шаблон из другого проекта.
Сверьте sitemap с каноникалами
В карту включайте абсолютные URL страниц, которые хотите видеть в поиске. Удалите ответы 404, редиректы, дубли, страницы с noindex и варианты с параметрами, если они не являются отдельными документами. Проверьте, что XML корректно закодирован и не содержит HTML-ошибку от сервера.
Сравните lastmod с реальным обновлением контента и не меняйте дату при каждом открытии страницы. Если сайт большой, разделите карту на части и используйте индекс. Важнее качество списка, чем количество строк: карта лишь подсказывает поисковику приоритет обхода.
Проверьте шаблоны страниц
Откройте несколько URL из карты: главную, категорию, материал, карточку услуги и страницу с пагинацией. Сверьте canonical, meta robots, код ответа и наличие ссылки на страницу внутри сайта. URL из sitemap не должен одновременно запрещаться в robots.txt или помечаться noindex.
После миграции проверьте протокол, www и слеши в конце адреса. Разные варианты могут вести на одну страницу, но в карту следует положить выбранный канонический адрес. Если сайт мультиязычный, отдельные языковые URL и hreflang согласуют между собой.
Отправьте и наблюдайте
Добавьте карту в Google Search Console и проверьте отчёт по ней. Ошибки чтения, недоступные URL и исключённые страницы нужно сопоставить с замыслом сайта, а не исправлять вслепую. После серьёзного изменения структуры повторите проверку и сохраните дату.
Не ожидайте мгновенной индексации каждой строки: карта помогает обнаружению, но не гарантирует обход и показ. Поддерживайте внутренние ссылки, скорость ответа и качество страниц. Логи сервера и инспекция URL дополняют данные отчёта о sitemap.
Чек-лист после релиза
Используйте список перед передачей проекта в продвижение.
- Откройте robots.txt и sitemap.xml по HTTPS-адресам.
- Проверьте код ответа, редиректы и тип содержимого.
- Найдите запреты для важных разделов и ресурсов.
- Удалите из sitemap 404, редиректы, дубли и noindex.
- Сверьте canonical и протокол на выборочных URL.
- Проверьте карту в Google Search Console.
- Зафиксируйте дату, ошибки и ответственного за повторную проверку.
Что сверить в файлах
Минимальная таблица помогает пройти проверку системно.
| Элемент | Риск | Признак нормы |
|---|---|---|
| Доступность | Робот не читает файл | Стабильный 200 без лишних редиректов |
| robots.txt | Заблокирован важный путь | Правила соответствуют задаче |
| Sitemap | Есть мусорные URL | Только канонические страницы |
| Мета | URL одновременно noindex | Настройки согласованы |
| Search Console | Ошибка обработки | Файл принят и читается |
Как оформить результат
Сохраните список проверенных адресов, кодов ответа и нескольких примеров URL. Отдельно отметьте намеренные исключения: архивы, фильтры, личные кабинеты и тестовые разделы. Такой отчёт помогает отличить ошибку от осознанного решения.
После исправлений повторно откройте файлы и проверьте те же URL. Сравнивайте дату lastmod, состояние canonical и отчёт Search Console. Если менялась схема адресов, дополнительно проверьте редиректы и ссылки внутри сайта.
Частые ошибки и диагностика
Опасны запрет Disallow: /, карта с HTTP-адресами, ссылки на staging и включение страниц с noindex. Нельзя считать файл корректным только потому, что он открывается в браузере: XML может содержать неверные URL, а правило robots.txt — блокировать нужный раздел.
При пропавших страницах разделите проблему обнаружения и индексации. Сначала проверьте ответ сервера и robots.txt, затем sitemap, canonical, noindex и внутренние ссылки. После исправления дайте поисковику время обработать изменения и наблюдайте отчёт.
Полезные материалы
Для скорости обхода полезно сверить Core Web Vitals. Перед публикацией серии страниц пригодится технический аудит сайта.
Проверка sitemap.xml и robots.txt после запуска связывает техническую конфигурацию с реальными URL. Откройте файлы, сверяйте правила с canonical и noindex, отправьте карту в Search Console и повторите контроль после исправлений. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник. В рабочем журнале оставьте дату проверки, исходные условия и следующий шаг. Такой протокол помогает повторить процедуру после обновления, смены сезона или изменения требований. Если материал передаётся другому специалисту, укажите ограничения рекомендации и ссылку на первоисточник.