Robots.txt Test Etme Yöntemleri

Robots.txt dosyanızı oluşturduktan veya güncelledikten sonra kurallarınızın doğru çalışıp çalışmadığını kontrol etmek önemlidir. Yanlış bir Disallow kuralı önemli sayfalarınızın taranmasını engelleyebilir; yanlış bir Allow veya eksik kural ise istemediğiniz sayfaların indekslenmesine yol açabilir. Bu rehberde robots.txt test etmek için kullanabileceğiniz yöntemleri açıklayacağız.

1. Google Search Console Robots.txt Tester

Google Search Console, robots.txt dosyanızı test etmek için resmi bir araç sunar. Bu araç, belirli bir URL'nin Googlebot tarafından taranıp taranamayacağını gösterir. Kullanım adımları şöyledir:

  1. Google Search Console'a giriş yapın ve sitenizi seçin.
  2. Sol menüden "Ayarlar" veya "Eski araçlar ve raporlar" altında "robots.txt Tester" bölümüne gidin. (Not: Yeni GSC arayüzünde bu araç "robots.txt" sayfasında "Test robots.txt" butonu ile erişilebilir.)
  3. Robots.txt dosyanızın mevcut içeriği ekranda görüntülenir.
  4. "Bir URL test edin" alanına test etmek istediğiniz sayfanın tam yolunu girin (örn: /blog/makale-adi/).
  5. Test sonucunda "İzin verildi" veya "Engellendi" mesajı alırsınız.

Bu araç, Google'ın robots.txt dosyanızı nasıl yorumladığını gösterir. Dosyada değişiklik yaptıktan sonra "Gönder" veya "Test et" butonları ile yeni sürümü doğrulayabilirsiniz.

2. Tarayıcı ile Manuel Kontrol

En basit yöntem, robots.txt dosyanızın erişilebilir olup olmadığını tarayıcıdan kontrol etmektir. Adres çubuğuna şunu yazın:

https://www.siteadiniz.com/robots.txt

Dosya görüntüleniyorsa, konum doğrudur. 404 hatası alıyorsanız dosya kök dizinde yok veya yanlış isimle kaydedilmiş demektir. İçeriği inceleyerek sözdizimi hatalarını (yanlış direktif adları, gereksiz boşluklar) manuel olarak kontrol edebilirsiniz.

3. Online Robots.txt Test Araçları

Üçüncü taraf araçlar da robots.txt analizi sunar. Bu araçlar genellikle site URL'nizi alıp robots.txt içeriğini çeker ve belirli URL'lerin engellenip engellenmediğini simüle eder. Kullanırken dikkat edilmesi gereken nokta, bu araçların Google'ın resmi yorumuyla her zaman %100 uyumlu olmayabileceğidir. Yine de hızlı bir ön kontrol için faydalıdır. Özellikle:

  • Birden fazla URL'yi tek seferde test etmek istiyorsanız
  • Google Search Console hesabınız yoksa
  • Bingbot gibi farklı user-agent'lar için sonuç görmek istiyorsanız

bu tür araçlar işinize yarar. Kendi robots.txt ve sitemap kontrol aracımız da bu amaçla kullanılabilir.

4. cURL veya Komut Satırı ile Kontrol

Teknik kullanıcılar için komut satırı üzerinden robots.txt indirip incelemek mümkündür:

curl https://www.siteadiniz.com/robots.txt

Bu komut, sunucunun döndürdüğü robots.txt içeriğini gösterir. HTTP durum kodunu görmek için -I parametresi eklenebilir; 200 OK dönüyorsa dosya başarıyla sunuluyor demektir.

5. Yaygın Test Senaryoları

Test ederken şu senaryolara özellikle dikkat edin:

  • Anasayfa: / veya — Engellenmemeli.
  • Önemli içerik sayfaları: Blog, ürün sayfaları — Yanlışlıkla Disallow ile engellenmemiş olmalı.
  • Engellenmesi gereken alanlar: /admin/, /wp-admin/, /private/ — Bu yollar "Engellendi" olarak görünmeli.
  • Sitemap URL'si: Robots.txt içinde Sitemap direktifi doğru ve erişilebilir olmalı.

6. Test Sonrası Kontrol Listesi

Robots.txt testini tamamladıktan sonra şunları doğrulayın:

  • Hiçbir önemli sayfa yanlışlıkla engellenmemiş olmalı.
  • Gizli kalması gereken dizinler (admin, ödeme sayfaları vb.) engellenmeli.
  • Dosya UTF-8 kodlaması ile kaydedilmiş ve Türkçe karakterler bozuk görünmemeli.
  • Sitemap yolu doğru ve mutlak URL (https ile) formatında yazılmış olmalı.

Düzenli aralıklarla robots.txt dosyanızı test etmek, yanlış yapılandırma kaynaklı indeksleme sorunlarını önlemenize yardımcı olur.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.