Robots.txt Boyut Limiti: 500KB Kuralı
Google, robots.txt dosyası için resmi olarak 500KB (512.000 bayt) üst sınır koyar. Bu limiti aşan robots.txt dosyalarında, Google yalnızca ilk 500KB'ı işler; geri kalan satırlar yok sayılır. Büyük e-ticaret siteleri veya çok sayıda disallow kuralı içeren yapılar bu sınıra takılabilir. Böylece bazı önemli engellemeler veya sitemap referansları atlanabilir.
Sorunun Tanımı
500KB limiti, robots.txt'in UTF-8 bayt cinsinden boyutudur. Satır sonları, boşluklar ve tüm karakterler sayılır. Özellikle binlerce Disallow: satırı olan siteler (örneğin her ürün URL'si için ayrı kural) bu limiti kolayca aşar. Google, 500KB sonrasındaki tüm kuralları yok sayar; bu da istenmeyen sayfaların taranmasına veya sitemap referansının kaçırılmasına neden olabilir.
Neden 500KB'a Ulaşılır?
- Fazla Disallow kuralı: Her URL için ayrı satır yerine wildcard veya örüntü kullanılmalıdır.
- Parametre bazlı engelleme:
Disallow: /*?sort=*gibi tek bir kural yerine binlerce tekil URL engellenmiş olabilir. - Otomatik eklenen kurallar: Bazı CMS veya eklentiler çok sayıda disallow otomatik ekler.
- Gereksiz tekrarlar: Aynı veya benzer kurallar birden fazla kez yazılmış olabilir.
Adım Adım Çözüm
1. Boyutu ölçün: robots.txt dosyanızı indirip dosya boyutunu kontrol edin. Windows'ta sağ tık → Özellikler; Linux'ta wc -c robots.txt komutu kullanılabilir. Robots & Sitemap Kontrol Aracımız da boyut bilgisi verir.
2. Wildcard kullanın: Tekil URL'ler yerine örüntü kullanın. Örnek: 1000 adet Disallow: /urun/123 yerine Disallow: /urun/ veya Disallow: /sepet, Disallow: /odeme gibi kısa kurallar tercih edin.
3. Parametre engellemeyi optimize edin: Parametreli URL engelleme rehberimizde olduğu gibi, Disallow: /*?* veya belirli parametreler için Disallow: /*?filtre= gibi tek satırlık kurallar kullanın.
4. Gereksiz kuralları kaldırın: Zaten noindex olan veya başka yollarla engellenen sayfaları robots.txt'ten çıkarın.
5. Sitemap'i en üste alın: Sitemap direktifi genellikle dosyanın başında olmalı; böylece limit aşılsa bile en azından sitemap referansı işlenir.
Önleme İpuçları
- Robots.txt'i mümkün olduğunca kısa tutun; detaylı engelleme için noindex meta veya X-Robots-Tag kullanın.
- Allow ve Disallow nasıl çalışır rehberimizde örüntü kullanımını öğrenin.
- Düzenli olarak robots.txt boyutunu kontrol edin; CMS güncellemeleri veya eklentiler boyutu artırabilir.
- 500KB'a yaklaşıyorsanız engelleme stratejinizi gözden geçirin.
Robots.txt bulunamıyor ve en sık robots hataları da teknik SEO için kritiktir. Tüm robots.txt kontrollerinizi araç sayfamızdan yapabilirsiniz.