Robots.txt Allow ve Disallow Nasıl Çalışır?

Allow ve Disallow direktifleri, robots.txt dosyasının kalbidir. Bu iki satır, arama motoru botlarına hangi URL'lerin taranabileceğini, hangilerinin engelleneceğini net biçimde söyler. Ancak işlem mantığı ilk bakışta düşünüldüğünden daha karmaşıktır; özellikle pattern eşleştirme (pattern matching) ve öncelik kuralları dikkat gerektirir.

Google, Allow/Disallow kurallarını değerlendirirken URL yolunu (path) kullanır. Domain, protokol veya query string genelde dikkate alınmaz; sadece yol kısmı karşılaştırılır.

Pattern Matching (Desen Eşleştirme)

Robots.txt'te iki özel karakter kullanılabilir: * (yıldız) ve $ (dolar). Yıldız işareti sıfır veya daha fazla karakterle eşleşir; dolar işareti ise URL sonunu belirtir.

User-agent: *
Disallow: /*.php$
Disallow: /admin/*.pdf
Allow: /admin/rapor.pdf

İlk satırda /*.php$ ile sonu .php ile biten tüm dosyalar engellenir. Allow ile istisna tanımlanabilir.

Öncelik Kuralları

Allow ve Disallow birlikte kullanıldığında, daha uzun (daha spesifik) olan kural kazanır. Örneğin Disallow: /blog/ ve Allow: /blog/seo-rehberi varsa, /blog/seo-rehberi sayfası taranır. Eğer birden fazla kural aynı URL'ye uyuyorsa, son eşleşen kural geçerlidir.

Boş Değerlerin Anlamı

Disallow: (boş değer) hiçbir şeyi engellemez; tüm site taranabilir. Allow: (boş) de benzer şekilde tüm siteye izin verir. Allow'un asıl kullanım amacı Disallow ile engellenmiş bir alanda istisna tanımlamaktır.

Yaygın Desen Örnekleri

Disallow: / tüm siteyi engeller; çok tehlikeli. Disallow: /kategori/ sadece /kategori/ ile başlayan URL'leri engeller. Disallow: /*?* query string içeren URL'leri engeller; dikkatli kullanılmalı. Allow: / genelde gereksizdir; Disallow yoksa zaten tüm site açıktır.

Özet

Allow ve Disallow doğru kullanıldığında crawl verimliliğini artırır. Daha spesifik kurallar genel kurallara göre önceliklidir. Her değişiklikten sonra Google Search Console'daki robots.txt Tester ile kontrol edin ve URL Test aracını kullanarak yan etkileri önleyin.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.