Robots.txt Bulunamıyor (404) Hatası ve Çözümü

Robots.txt dosyanız https://siteniz.com/robots.txt adresinde 404 (Bulunamadı) hatası veriyorsa, arama motorları siteniz hakkında talimat alamaz. Google, Bing ve diğer örümcekler varsayılan olarak bu dosyayı kontrol eder; bulamadıklarında tüm siteyi taramak için serbest kalırlar. Bu her zaman sorun değildir ancak sitemap referansını kaçıracağınız için indeksleme optimizasyonu zayıflar.

Sorunun Tanımı

Robots.txt 404 hatası, arama motoru botlarının sitenizin kök dizinindeki /robots.txt dosyasına erişmeye çalıştığında "404 Not Found" yanıtı alması anlamına gelir. Google Search Console bazen "robots.txt alınamadı" uyarısı gösterir. Sitemap direktifi eksikliği de indeksleme gecikmelerine yol açabilir.

Olası Nedenler

  • Dosya hiç oluşturulmamış: Yeni sitelerde robots.txt genellikle manuel eklenir veya CMS tarafından üretilir.
  • Yanlış dizinde: Dosya /robots.txt yerine /public/robots.txt veya alt dizinlerde olabilir.
  • Platform ayarları: WordPress, Drupal gibi sistemlerde "Arama motorlarını engelle" seçeneği işaretli olabilir veya özel robots devre dışı bırakılmış olabilir.
  • Sunucu yapılandırması: .htaccess veya Nginx kuralları .txt dosyalarını engelliyor olabilir.
  • Domain veya hosting değişikliği: Site taşıması sonrası dosya kaybolmuş olabilir.

Adım Adım Çözüm

1. Dosyanın varlığını kontrol edin: Tarayıcıda https://siteniz.com/robots.txt adresini açın. 404 görüyorsanız dosya yok demektir.

2. Temel robots.txt oluşturun: En azından şu içeriğe sahip bir dosya oluşturun:

User-agent: *
Allow: /
Sitemap: https://siteniz.com/sitemap.xml

3. Kök dizine yerleştirin: Dosyayı web sunucunuzun document root klasörüne (/public_html/ veya /www/) kaydedin. Dosya adı tam olarak robots.txt olmalıdır.

4. Platform kullanıyorsanız: WordPress'te Ayarlar → Okuma'dan "Arama motorlarını engelle" seçeneğini kapatın. Drupal'da robots.txt modülünü etkinleştirin. WordPress rehberimize göz atın.

5. Doğrulama: Değişiklikten sonra Robots & Sitemap Kontrol Aracımız ile tekrar test edin.

Önleme İpuçları

  • Site kurulumu sırasında robots.txt'i ilk adımlardan biri olarak ekleyin.
  • CMS güncellemelerinden sonra robots.txt'in erişilebilir kaldığını kontrol edin.
  • Robots.txt nedir rehberimizi okuyarak temel yapıyı öğrenin.
  • Hosting panelinde dosya yöneticisi üzerinden doğru konumu doğrulayın.

Sitemap 404 ve Disallow Tümü sorunları da benzer kontroller gerektirir. Hemen araç sayfamızdan ücretsiz kontrol yapabilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.