Ошибки индексации часто сидят в robots.txt или в sitemap.xml. На DomAudit есть отдельные валидаторы — порядок проверки экономит часы отладки в Search Console.
Сначала robots.txt
Если Disallow перекрывает важные разделы или Sitemap: указывает на неверный URL, карта сайта бесполезна. Валидатор robots.txt ловит синтаксис, конфликтующие правила и типичные опечатки.
Запускайте его после смены CMS, CDN, staging→prod и при «страница обнаружена, но не проиндексирована».
Затем sitemap
Валидатор sitemap проверяет XML, лимиты и битые URL уже опубликованной карты. Имеет смысл после того, как robots разрешает сканирование и корректно ссылается на sitemap.
Практический порядок
1. Robots validator — доступ роботов.
2. Sitemap validator — качество карты.
3. При необходимости — генератор sitemap и повторная отправка в GSC.