Robots.txt Sıfırdan Yazma Rehberi

Robots.txt dosyası, arama motoru tarayıcılarına sitenizin hangi bölümlerinin taranabileceğini söyleyen basit bir metin dosyasıdır. Mevcut bir dosyanız yoksa veya sıfırdan yeniden oluşturmak istiyorsanız, bu rehber size adım adım yardımcı olacaktır. Doğru söz dizimi ve direktif kullanımı kritik öneme sahiptir; küçük bir hata tüm sitenizi arama sonuçlarından çıkarabilir.

Adım 1: Dosya Konumu ve Format

Robots.txt mutlaka sitenizin kök dizininde yer almalıdır. Örnek: https://siteadiniz.com/robots.txt. Dosya adı küçük harfle robots.txt olmalıdır; Robots.txt veya ROBOTS.TXT gibi yazımlar bazı sunucularda sorun çıkarabilir. Dosyayı UTF-8 kodlamasıyla kaydedin. Salt metin formatında olmalı; HTML, BOM veya görünmez karakterler bulunmamalıdır.

Adım 2: Temel Söz Dizimi Kuralları

Her satırda bir direktif bulunur. Format: Direktif: değer. İki nokta üst üsteden sonra tek bir boşluk kullanılır. Satır sonlarında fazla boşluk veya sekme olmamalıdır. Yorum satırları # ile başlar. Boş satırlar kabul edilir ve blokları ayırmak için kullanılabilir.

Adım 3: User-agent Direktifi

User-agent ile kuralların hangi bot için geçerli olduğunu belirtirsiniz. User-agent: * tüm botları kapsar. Spesifik botlar için User-agent: Googlebot veya User-agent: Bingbot kullanılabilir. Her User-agent bloğu kendi Allow/Disallow kurallarına sahip olabilir.

Adım 4: Allow ve Disallow

Disallow taramanın engelleneceği URL yolunu belirtir. Disallow: (değer olmadan) hiçbir şeyi engellemez. Disallow: / tüm siteyi engeller—bu çok tehlikelidir. Allow ise Disallow ile engellenmiş bir alanda istisna tanımlar. Daha spesifik kurallar genel kurallara göre öncelik alır.

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Adım 5: Sitemap Direktifi

Sitemap satırı, site haritanızın tam URL'ini içerir. Mutlaka https:// ile başlamalıdır. Birden fazla sitemap tanımlanabilir. Sitemap satırları genelde dosyanın sonunda yer alır ve User-agent bloklarından bağımsızdır.

Sitemap: https://siteadiniz.com/sitemap.xml
Sitemap: https://siteadiniz.com/sitemap-posts.xml

Örnek: Temel robots.txt

Aşağıdaki örnek çoğu blog veya küçük site için yeterlidir:

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /search/

Sitemap: https://siteadiniz.com/sitemap_index.xml

Bu yapı WordPress siteleri için uygundur. Değişiklik yaptıktan sonra Robots & Sitemap Kontrol Aracı ile test edin ve Google Search Console'daki robots.txt Tester ile doğrulayın.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.