Валидатор robots.txt

Проверка и валидация robots.txt файла. Анализ правил, поиск ошибок и рекомендации по улучшению.