robots.txt-Generator

Kostenloser robots.txt-Generator. Fügen Sie User-agent-Gruppen mit Allow/Disallow-Mustern, optionalem Crawl-delay und Sitemap-URLs hinzu, um eine saubere robots.txt zusammenzustellen — alles im Browser.