Демо-отчёт · без реальных клиентских данных
Пример проверки robots.txt (демо)
Обезличенный демо-отчёт валидации robots.txt: Disallow, Sitemap и типичные ошибки индексации. Запустите проверку своего файла бесплатно.
Оценка: Есть критичные замечания (демо)
Обезличенный демо-отчёт валидации robots.txt: типичные ошибки Disallow и Sitemap без клиентских данных. Демо-хост: example-docs.demo.
Находки
- Критично
Disallow: / блокирует весь сайт
Правило Disallow: / запрещает сканирование всех URL — индексация останавливается.
- Внимание
Sitemap: указывает на HTTP
Директива Sitemap: использует http:// при том, что сайт доступен только по HTTPS.
- Инфо
User-agent: * задан
Базовый user-agent присутствует — синтаксис блока в целом читаемый.
Что сделать дальше
- Уберите Disallow: / или ограничьте служебные пути.
- Укажите HTTPS URL в Sitemap:.
- Проверьте robots.txt валидатором на domaudit.com.