Robots.txt Sıfırdan Yazma Rehberi
Robots.txt dosyası, arama motoru tarayıcılarına sitenizin hangi bölümlerinin taranabileceğini söyleyen basit bir metin dosyasıdır. Mevcut bir dosyanız yoksa veya sıfırdan yeniden oluşturmak istiyorsanız, bu rehber size adım adım yardımcı olacaktır. Doğru söz dizimi ve direktif kullanımı kritik öneme sahiptir; küçük bir hata tüm sitenizi arama sonuçlarından çıkarabilir.
Adım 1: Dosya Konumu ve Format
Robots.txt mutlaka sitenizin kök dizininde yer almalıdır. Örnek: https://siteadiniz.com/robots.txt. Dosya adı küçük harfle robots.txt olmalıdır; Robots.txt veya ROBOTS.TXT gibi yazımlar bazı sunucularda sorun çıkarabilir. Dosyayı UTF-8 kodlamasıyla kaydedin. Salt metin formatında olmalı; HTML, BOM veya görünmez karakterler bulunmamalıdır.
Adım 2: Temel Söz Dizimi Kuralları
Her satırda bir direktif bulunur. Format: Direktif: değer. İki nokta üst üsteden sonra tek bir boşluk kullanılır. Satır sonlarında fazla boşluk veya sekme olmamalıdır. Yorum satırları # ile başlar. Boş satırlar kabul edilir ve blokları ayırmak için kullanılabilir.
Adım 3: User-agent Direktifi
User-agent ile kuralların hangi bot için geçerli olduğunu belirtirsiniz. User-agent: * tüm botları kapsar. Spesifik botlar için User-agent: Googlebot veya User-agent: Bingbot kullanılabilir. Her User-agent bloğu kendi Allow/Disallow kurallarına sahip olabilir.
Adım 4: Allow ve Disallow
Disallow taramanın engelleneceği URL yolunu belirtir. Disallow: (değer olmadan) hiçbir şeyi engellemez. Disallow: / tüm siteyi engeller—bu çok tehlikelidir. Allow ise Disallow ile engellenmiş bir alanda istisna tanımlar. Daha spesifik kurallar genel kurallara göre öncelik alır.
User-agent: * Disallow: /admin/ Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
Adım 5: Sitemap Direktifi
Sitemap satırı, site haritanızın tam URL'ini içerir. Mutlaka https:// ile başlamalıdır. Birden fazla sitemap tanımlanabilir. Sitemap satırları genelde dosyanın sonunda yer alır ve User-agent bloklarından bağımsızdır.
Sitemap: https://siteadiniz.com/sitemap.xml Sitemap: https://siteadiniz.com/sitemap-posts.xml
Örnek: Temel robots.txt
Aşağıdaki örnek çoğu blog veya küçük site için yeterlidir:
User-agent: * Allow: / Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-includes/ Disallow: /?s= Disallow: /search/ Sitemap: https://siteadiniz.com/sitemap_index.xml
Bu yapı WordPress siteleri için uygundur. Değişiklik yaptıktan sonra Robots & Sitemap Kontrol Aracı ile test edin ve Google Search Console'daki robots.txt Tester ile doğrulayın.