Robots.txt Allow ve Disallow Nasıl Çalışır?
Allow ve Disallow direktifleri, robots.txt dosyasının kalbidir. Bu iki satır, arama motoru botlarına hangi URL'lerin taranabileceğini, hangilerinin engelleneceğini net biçimde söyler. Ancak işlem mantığı ilk bakışta düşünüldüğünden daha karmaşıktır; özellikle pattern eşleştirme (pattern matching) ve öncelik kuralları dikkat gerektirir.
Google, Allow/Disallow kurallarını değerlendirirken URL yolunu (path) kullanır. Domain, protokol veya query string genelde dikkate alınmaz; sadece yol kısmı karşılaştırılır.
Pattern Matching (Desen Eşleştirme)
Robots.txt'te iki özel karakter kullanılabilir: * (yıldız) ve $ (dolar). Yıldız işareti sıfır veya daha fazla karakterle eşleşir; dolar işareti ise URL sonunu belirtir.
User-agent: * Disallow: /*.php$ Disallow: /admin/*.pdf Allow: /admin/rapor.pdf
İlk satırda /*.php$ ile sonu .php ile biten tüm dosyalar engellenir. Allow ile istisna tanımlanabilir.
Öncelik Kuralları
Allow ve Disallow birlikte kullanıldığında, daha uzun (daha spesifik) olan kural kazanır. Örneğin Disallow: /blog/ ve Allow: /blog/seo-rehberi varsa, /blog/seo-rehberi sayfası taranır. Eğer birden fazla kural aynı URL'ye uyuyorsa, son eşleşen kural geçerlidir.
Boş Değerlerin Anlamı
Disallow: (boş değer) hiçbir şeyi engellemez; tüm site taranabilir. Allow: (boş) de benzer şekilde tüm siteye izin verir. Allow'un asıl kullanım amacı Disallow ile engellenmiş bir alanda istisna tanımlamaktır.
Yaygın Desen Örnekleri
Disallow: / tüm siteyi engeller; çok tehlikeli. Disallow: /kategori/ sadece /kategori/ ile başlayan URL'leri engeller. Disallow: /*?* query string içeren URL'leri engeller; dikkatli kullanılmalı. Allow: / genelde gereksizdir; Disallow yoksa zaten tüm site açıktır.
Özet
Allow ve Disallow doğru kullanıldığında crawl verimliliğini artırır. Daha spesifik kurallar genel kurallara göre önceliklidir. Her değişiklikten sonra Google Search Console'daki robots.txt Tester ile kontrol edin ve URL Test aracını kullanarak yan etkileri önleyin.