Robots.txt Boyut Limiti: 500KB Kuralı

Google, robots.txt dosyası için resmi olarak 500KB (512.000 bayt) üst sınır koyar. Bu limiti aşan robots.txt dosyalarında, Google yalnızca ilk 500KB'ı işler; geri kalan satırlar yok sayılır. Büyük e-ticaret siteleri veya çok sayıda disallow kuralı içeren yapılar bu sınıra takılabilir. Böylece bazı önemli engellemeler veya sitemap referansları atlanabilir.

Sorunun Tanımı

500KB limiti, robots.txt'in UTF-8 bayt cinsinden boyutudur. Satır sonları, boşluklar ve tüm karakterler sayılır. Özellikle binlerce Disallow: satırı olan siteler (örneğin her ürün URL'si için ayrı kural) bu limiti kolayca aşar. Google, 500KB sonrasındaki tüm kuralları yok sayar; bu da istenmeyen sayfaların taranmasına veya sitemap referansının kaçırılmasına neden olabilir.

Neden 500KB'a Ulaşılır?

  • Fazla Disallow kuralı: Her URL için ayrı satır yerine wildcard veya örüntü kullanılmalıdır.
  • Parametre bazlı engelleme: Disallow: /*?sort=* gibi tek bir kural yerine binlerce tekil URL engellenmiş olabilir.
  • Otomatik eklenen kurallar: Bazı CMS veya eklentiler çok sayıda disallow otomatik ekler.
  • Gereksiz tekrarlar: Aynı veya benzer kurallar birden fazla kez yazılmış olabilir.

Adım Adım Çözüm

1. Boyutu ölçün: robots.txt dosyanızı indirip dosya boyutunu kontrol edin. Windows'ta sağ tık → Özellikler; Linux'ta wc -c robots.txt komutu kullanılabilir. Robots & Sitemap Kontrol Aracımız da boyut bilgisi verir.

2. Wildcard kullanın: Tekil URL'ler yerine örüntü kullanın. Örnek: 1000 adet Disallow: /urun/123 yerine Disallow: /urun/ veya Disallow: /sepet, Disallow: /odeme gibi kısa kurallar tercih edin.

3. Parametre engellemeyi optimize edin: Parametreli URL engelleme rehberimizde olduğu gibi, Disallow: /*?* veya belirli parametreler için Disallow: /*?filtre= gibi tek satırlık kurallar kullanın.

4. Gereksiz kuralları kaldırın: Zaten noindex olan veya başka yollarla engellenen sayfaları robots.txt'ten çıkarın.

5. Sitemap'i en üste alın: Sitemap direktifi genellikle dosyanın başında olmalı; böylece limit aşılsa bile en azından sitemap referansı işlenir.

Önleme İpuçları

  • Robots.txt'i mümkün olduğunca kısa tutun; detaylı engelleme için noindex meta veya X-Robots-Tag kullanın.
  • Allow ve Disallow nasıl çalışır rehberimizde örüntü kullanımını öğrenin.
  • Düzenli olarak robots.txt boyutunu kontrol edin; CMS güncellemeleri veya eklentiler boyutu artırabilir.
  • 500KB'a yaklaşıyorsanız engelleme stratejinizi gözden geçirin.

Robots.txt bulunamıyor ve en sık robots hataları da teknik SEO için kritiktir. Tüm robots.txt kontrollerinizi araç sayfamızdan yapabilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.