مولّد robots.txt
مولّد robots.txt مجاني. أضف مجموعات User-agent مع أنماط Allow/Disallow وCrawl-delay اختياري وعناوين URL لـ Sitemap لتجميع robots.txt نظيف — كل ذلك في متصفحك.
مولّد robots.txt مجاني. أضف مجموعات User-agent مع أنماط Allow/Disallow وCrawl-delay اختياري وعناوين URL لـ Sitemap لتجميع robots.txt نظيف — كل ذلك في متصفحك.