Генератор robots.txt

Бесплатный генератор robots.txt. Добавьте группы User-agent с шаблонами Allow/Disallow, опциональный Crawl-delay и URL Sitemap, чтобы собрать чистый robots.txt — всё в браузере.