Robots.txt Nedir? Kapsamlı Rehber

Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru örümceklerine (crawler) hangi sayfaları tarayıp taramayacaklarını söyleyen basit bir metin dosyasıdır. 1994 yılında ortaya çıkan bu standart, günümüzde hâlâ SEO’nun temel taşlarından biri olarak kullanılmaktadır. İşlem mantığı basit olsa da, yanlış yapılandırma tüm sitenizin arama sonuçlarından düşmesine neden olabilir.

robots.txt dosyası, teknik olarak bir talimat dosyasıdır; yasal bir zorunluluk değildir. Yani arama motorları bu dosyayı dikkate alır ama uymak zorunda değillerdir. Özellikle kötü niyetli botlar kuralları yok sayabilir. Ancak Google, Bing, Yandex gibi büyük arama motorları robots.txt kurallarına saygı gösterir ve sitenize olan güveninizi artırır.

Robots.txt Dosyasının Temel Yapısı

Robots.txt dosyası düz metin (plain text) formatındadır ve UTF-8 ile kaydedilmesi önerilir. Standart söz dizimi şu direktiflerden oluşur: User-agent, Allow, Disallow ve Sitemap. Her User-agent bloğu belirli bir bot veya tüm botlar için kurallar tanımlar.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

Yukarıdaki örnekte User-agent: * tüm botları hedefler. Disallow: /wp-admin/ ile WordPress yönetim paneli taranmaz, ancak Allow: /wp-admin/admin-ajax.php ile bu özel dosyaya erişim açılır. Son satırda sitemap adresi belirtilerek arama motorlarına site haritanızın konumu bildirilir.

Temel Direktifler

User-agent: Kuralların uygulanacağı botu tanımlar. * tüm botlar için geçerli demektir. Googlebot, Bingbot gibi spesifik bot isimleri de kullanılabilir.

Disallow: Taramanın engelleneceği URL yollarını belirtir. Boş bırakılırsa (Disallow:) hiçbir şey engellenmez. Disallow: / ise tüm siteyi engeller ve büyük bir hatadır.

Allow: Disallow ile engellenmiş bir alanda istisna oluşturur. Öncelik kurallarına göre çalışır; daha spesifik kurallar genel kurallara göre önceliklidir.

Sitemap: Site haritası (sitemap.xml) adresini belirtir. Mutlak URL kullanılmalıdır. Birden fazla sitemap tanımlanabilir.

Neden SEO İçin Önemlidir?

Robots.txt, crawl bütçesini (tarama kotası) verimli kullanmanıza yardımcı olur. Arama motorları her siteyi sınırsız taramaz; özellikle büyük sitelerde hangi sayfaların taranması gerektiğine karar vermek önemlidir. Gereksiz sayfaları (oturum açma, ödeme, çöp URL’ler) engelleyerek değerli içeriklerin daha hızlı keşfedilmesini sağlarsınız.

Yanlış yapılandırma ise kritik sayfaların taranamamasına veya tüm sitenin engellenmesine yol açabilir. Disallow: / kullanımı sitenizi arama sonuçlarından tamamen kaldırır. Bu nedenle değişiklik sonrası mutlaka test edilmelidir.

Konum ve Erişim

Robots.txt dosyası her zaman sitenizin kök dizininde olmalıdır. Örneğin https://sitemapkontrol.com.tr/robots.txt adresinden erişilebilir olmalıdır. Alt dizinlerdeki robots.txt dosyaları (örn. /blog/robots.txt) standart tarafından kabul edilmez ve arama motorları tarafından dikkate alınmaz.

Dosya boyutu genelde 500 KB’ın altında tutulmalıdır. Google, bu sınırın üzerindeki kısımları yok sayar. Çok sayıda Disallow kuralı yerine wildcard (*) kullanarak daha kompakt yazmak mümkündür.

Sonuç

Robots.txt, arama motoru tarayıcılarıyla iletişim kurmanın basit ama güçlü bir yoludur. Doğru kullanıldığında crawl verimliliğini artırır, yanlış kullanıldığında ise ciddi indeksleme kayıplarına neden olur. Her değişiklikten sonra Google Search Console’daki robots.txt Tester aracı ile kontrol etmek ve canlıya almadan önce test ortamında denemek en güvenli yaklaşımdır.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.