Robots.txt Oluşturucu

Robots.txt, arama motoru botlarına hangi URL yollarının taranıp taranmayacağını bildiren kök dizin dosyasıdır. Bu araç user-agent, Allow/Disallow path listesi, isteğe bağlı crawl-delay ve Sitemap URL’lerinden standart robots.txt metni üretir. Google Search Console’a göndermeden önce sözdizimini doğrulamak için kullanılır.

Admin paneli, filtre parametreleri veya tekrarlayan içerik yollarını Disallow ile kapatmak crawl bütçesini korur. Sitemap satırı botların içerik haritanızı bulmasını kolaylaştırır. Yanlış robots.txt tüm siteyi indeks dışı bırakabilir — üretilen dosyayı yüklemeden önce satırları dikkatle okuyun.

User-agent varsayılan * bırakılabilir. Disallow alanına her satıra bir yol yazın (/wp-admin/, /arama? gibi). Allow ile istisna tanımlayabilirsiniz. Sitemap alanına tam https URL’lerini girin. Çıktıyı site köküne robots.txt adıyla yükleyin; https://site.com/robots.txt adresinden erişilebilir olmalıdır.

Yollar / ile başlamalıdır; geçersiz karakterler reddedilir. Sitemap URL’leri http/https doğrulamasından geçer. En fazla 40 path satırı ve 10 sitemap URL’si kabul edilir. Crawl-delay 0–300 arası tam sayı olmalıdır; Google bu direktifi artık dikkate almayabilir.