Генератор robots.txt
Создайте robots.txt для управления индексацией сайта. Визуальный редактор, валидация, скачивание.
Редактор и генератор robots.txt
Шаблоны robots.txt
Выберите готовый шаблон или создайте свой
Анализ по ссылке
Укажите URL сайта — мы пройдём по страницам по ссылкам и подскажем, какие разделы лучше закрыть от индексации, а какие оставить
Правила для ботов
Настройте правила для различных поисковых ботов
Правило 1
Sitemap
URL карты сайта
robots.txt управляет индексацией сайта поисковыми ботами. Разместите файл в корне сайта по адресу /robots.txt