Robots.txt Örnekleri: En İyi Uygulamalar
Robots.txt dosyanızı doğru yapılandırmak, arama motoru taramasını optimize eder ve crawl budget’unuzu verimli kullanır. Bu rehberde farklı site türleri için hazır robots.txt örnekleri ve en iyi uygulama önerilerini bulacaksınız.
Genel Amaçlı Basit Örnek
Tüm botlara açık, sadece sitemap tanımlayan minimal bir robots.txt:
User-agent: * Allow: / Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Allow: / tüm siteyi taranabilir yapar. Sitemap satırı arama motorlarına site haritanızı bildirir. Bu yapı küçük blog ve kurumsal siteler için idealdir.
WordPress İçin Robots.txt Örneği
WordPress sitelerinde wp-admin, wp-includes gibi dizinlerin taranması gereksizdir. Aşağıdaki örnek standart WordPress yapısı için uygundur:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /?s= Disallow: /*?replytocom= Disallow: /readme.html Sitemap: https://sitemapkontrol.com.tr/sitemap_index.xml
admin-ajax.php Allow ile açık bırakılır; bazı eklentiler bunu kullanır. Sıralama sayfaları (/?s=) ve yorum sayfaları engellenerek duplicate content riski azaltılır.
E-Ticaret Sitesi Örneği
E-ticaret sitelerinde filtreler, sıralama ve oturum URL’leri engellenmelidir:
User-agent: * Disallow: /kategori/*?* Disallow: /sepet/ Disallow: /odeme/ Disallow: /hesabim/ Disallow: /giris/ Disallow: /arama?q= Allow: /kategori/ Sitemap: https://sitemapkontrol.com.tr/sitemap.xml Sitemap: https://sitemapkontrol.com.tr/sitemap-products.xml
Parametreli filtre URL’leri (?*) engellenirken, temel kategori sayfaları Allow ile açık tutulur. Birden fazla sitemap tanımlanabilir.
Geliştirme / Staging Ortamı
Canlıya alınmamış sitelerin indekslenmemesi için:
User-agent: * Disallow: /
Bu tek satır (Disallow: /) tüm siteyi tüm botlara kapatır. Canlı ortama geçerken mutlaka kaldırın; yoksa siteniz arama sonuçlarına çıkmaz.
Belirli Botlara Özel Kurallar
Google’a tam erişim, diğer botlara kısıtlı erişim:
User-agent: Googlebot Allow: / Sitemap: https://sitemapkontrol.com.tr/sitemap.xml User-agent: Bingbot Allow: / Sitemap: https://sitemapkontrol.com.tr/sitemap.xml User-agent: * Disallow: /ozel/ Disallow: /yedek/ Allow: / Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Googlebot ve Bingbot’a tam erişim verilirken, diğer tüm botlar /ozel/ ve /yedek/ dizinlerine erişemez.
Yaygın Hatalardan Kaçının
- Disallow: / tüm siteyi kapatır — canlı sitede asla kullanmayın.
- Büyük/küçük harf: Path’ler case-sensitive olabilir; tutarlı yazın.
- Trailing slash:
/blogile/blog/farklı yorumlanabilir; genelde/blog/tercih edilir. - Kuralları test edin: Google Search Console’da robots.txt Tester ile kontrol edin.
Sonuç
Site türünüze uygun robots.txt örneğini seçin, domain adresinizle güncelleyin ve değişiklik sonrası mutlaka test edin. Ücretsiz robots.txt kontrol araçları ile doğrulayabilirsiniz.