En Sık Yapılan Robots.txt Hataları ve Çözümleri
Robots.txt basit görünse de küçük hatalar tüm sitenizin arama sonuçlarından düşmesine neden olabilir. Bu rehberde en sık karşılaşılan hataları ve çözümlerini bulacaksınız.
Hatalar genelde bilgi eksikliği veya staging'den production'a yanlış aktarımdan kaynaklanır.
1. Disallow: / — Tüm Siteyi Engellemek
En kritik hatadır. Disallow: / tek başına tüm sitenizi arama motorlarından gizler. Canlı sitelerde kesinlikle kullanılmamalıdır. Çözüm: Bu satırı tamamen kaldırın. Spesifik dizinleri engellemek istiyorsanız Disallow: /wp-admin/ gibi path'ler kullanın.
2. Yanlış Dosya Konumu
Robots.txt sadece kök dizinde geçerlidir. Alt dizinlerdeki dosyalar (örn. /blog/robots.txt) dikkate alınmaz. Çözüm: Dosyayı mutlaka https://siteniz.com/robots.txt adresinde tutun. Tarayıcıda bu URL'yi açıp içeriğin göründüğünü doğrulayın.
3. Sitemap Eksikliği
Robots.txt'te Sitemap direktifi olmaması arama motorlarının sitemap'inizi bulmasını zorlaştırır. Çözüm: Sitemap: https://sitemapkontrol.com.tr/sitemap.xml ekleyin (kendi domain'inizle). Birden fazla sitemap için her biri için ayrı satır yazın.
4. HTTP/HTTPS Karışıklığı
Sitemap URL'si HTTP ile yazılıp siteniz HTTPS kullanıyorsa veya tam tersi durumda karışıklık oluşur. Çözüm: Sitemap ve tüm mutlak URL'ler sitenizin ana protokolü ile yazılmalıdır.
5. Yazım ve Boşluk Hataları
Disallow, Allow, User-agent, Sitemap doğru yazılmalıdır. Dissalow, Disalow gibi hatalar direktifi geçersiz kılar. İki nokta üst üsteden sonra tek boşluk bırakın. Gereksiz veya çakışan kurallar da sorun çıkarır; basit tutun.
6. Gereksiz veya Çakışan Kurallar
Hem Allow: / hem Disallow: /blog/ hem de Allow: /blog/istisna yazmak karışıklığa yol açabilir. Öncelik kurallarını bilmeden yazılan kurallar beklenmeyen sonuçlar verebilir. Sadece engellemek istediğiniz path'leri Disallow ile yazın.
Özet
Disallow: / kullanmayın, dosyayı kökte tutun, Sitemap ekleyin, protokol tutarlılığına dikkat edin. Google Search Console robots.txt Tester ile kritik sayfaların taranabildiğini doğrulayın.