Robots.txt Örnekleri: En İyi Uygulamalar

Robots.txt dosyanızı doğru yapılandırmak, arama motoru taramasını optimize eder ve crawl budget’unuzu verimli kullanır. Bu rehberde farklı site türleri için hazır robots.txt örnekleri ve en iyi uygulama önerilerini bulacaksınız.

Genel Amaçlı Basit Örnek

Tüm botlara açık, sadece sitemap tanımlayan minimal bir robots.txt:

User-agent: *
Allow: /
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

Allow: / tüm siteyi taranabilir yapar. Sitemap satırı arama motorlarına site haritanızı bildirir. Bu yapı küçük blog ve kurumsal siteler için idealdir.

WordPress İçin Robots.txt Örneği

WordPress sitelerinde wp-admin, wp-includes gibi dizinlerin taranması gereksizdir. Aşağıdaki örnek standart WordPress yapısı için uygundur:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /?s=
Disallow: /*?replytocom=
Disallow: /readme.html
Sitemap: https://sitemapkontrol.com.tr/sitemap_index.xml

admin-ajax.php Allow ile açık bırakılır; bazı eklentiler bunu kullanır. Sıralama sayfaları (/?s=) ve yorum sayfaları engellenerek duplicate content riski azaltılır.

E-Ticaret Sitesi Örneği

E-ticaret sitelerinde filtreler, sıralama ve oturum URL’leri engellenmelidir:

User-agent: *
Disallow: /kategori/*?*
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /giris/
Disallow: /arama?q=
Allow: /kategori/
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Sitemap: https://sitemapkontrol.com.tr/sitemap-products.xml

Parametreli filtre URL’leri (?*) engellenirken, temel kategori sayfaları Allow ile açık tutulur. Birden fazla sitemap tanımlanabilir.

Geliştirme / Staging Ortamı

Canlıya alınmamış sitelerin indekslenmemesi için:

User-agent: *
Disallow: /

Bu tek satır (Disallow: /) tüm siteyi tüm botlara kapatır. Canlı ortama geçerken mutlaka kaldırın; yoksa siteniz arama sonuçlarına çıkmaz.

Belirli Botlara Özel Kurallar

Google’a tam erişim, diğer botlara kısıtlı erişim:

User-agent: Googlebot
Allow: /
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

User-agent: Bingbot
Allow: /
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

User-agent: *
Disallow: /ozel/
Disallow: /yedek/
Allow: /
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

Googlebot ve Bingbot’a tam erişim verilirken, diğer tüm botlar /ozel/ ve /yedek/ dizinlerine erişemez.

Yaygın Hatalardan Kaçının

  • Disallow: / tüm siteyi kapatır — canlı sitede asla kullanmayın.
  • Büyük/küçük harf: Path’ler case-sensitive olabilir; tutarlı yazın.
  • Trailing slash: /blog ile /blog/ farklı yorumlanabilir; genelde /blog/ tercih edilir.
  • Kuralları test edin: Google Search Console’da robots.txt Tester ile kontrol edin.

Sonuç

Site türünüze uygun robots.txt örneğini seçin, domain adresinizle güncelleyin ve değişiklik sonrası mutlaka test edin. Ücretsiz robots.txt kontrol araçları ile doğrulayabilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.