Sık Sorulan Sorular

Robots.txt ve sitemap.xml hakkında en çok sorulan sorular ve cevapları.

Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru örümceklerine hangi sayfaları tarayıp taramayacaklarını söyleyen metin dosyasıdır. Crawl bütçesini verimli kullanmak, gereksiz sayfaları engellemek ve sitemap konumunu bildirmek için kullanılır.
Sitemap.xml, sitenizdeki tüm URL'leri arama motorlarına listeleyen XML dosyasıdır. Özellikle yeni siteler, büyük siteler veya zayıf dahili bağlantı yapısına sahip sitelerde indekslemeyi hızlandırır. Google ve Bing gibi motorlar bu dosyayı kullanarak sayfalarınızı daha hızlı keşfeder.
CORS (Cross-Origin Resource Sharing), tarayıcının güvenlik politikasıdır. Başka bir siteden robots.txt veya sitemap çekmeye çalıştığınızda sunucu uygun CORS başlıkları göndermezse tarayıcı isteği engeller. Bu durumda aracımızın "Yapıştır" modunu kullanarak içeriği doğrudan girebilirsiniz.
Robots.txt'te en uzun ve spesifik eşleşen kural geçerlidir. Bir URL hem Allow hem Disallow ile eşleşiyorsa, daha spesifik olan kural kazanır. Örneğin Disallow: /admin/ ve Allow: /admin/public/ varsa, /admin/public/ taranabilir çünkü Allow kuralı daha spesifiktir.
Disallow: / tek başına kullanıldığında tüm sitenizi arama motorlarına kapatır. Bu ciddi bir hatadır; siteniz indekslenmez ve arama sonuçlarında görünmez. Sadece geliştirme ortamlarında veya geçici olarak yayından kaldırılmış sitelerde kullanılmalıdır.
Robots.txt her zaman sitenizin kök dizininde olmalıdır. Örneğin https://sitemapkontrol.com.tr/robots.txt adresinden erişilebilir olmalıdır. Alt dizinlerdeki robots.txt (örn. /blog/robots.txt) standart tarafından kabul edilmez.
Evet. Hem robots.txt içinde birden fazla Sitemap: satırı ekleyebilir hem de bir sitemap index dosyası oluşturarak 50.000 URL limitini aşan sitelerde birden fazla sitemap'ı gruplayabilirsiniz.
Tek bir sitemap dosyasında en fazla 50.000 URL ve 50 MB (sıkıştırılmamış) olmalıdır. Bu limiti aşan siteler sitemap index kullanarak birden fazla sitemap'a bölmelidir.
User-agent: * tüm arama motoru botlarını hedefleyen joker karakterdir. Bu direktifin altındaki kurallar Googlebot, Bingbot, Yandexbot vb. tüm botlar için geçerlidir. Spesifik bir bot için kurallar yazmak isterseniz User-agent: Googlebot gibi kullanabilirsiniz.
Hayır. Robots.txt teknik bir standarttır, yasal bir zorunluluk değildir. Arama motorları genelde kurallara uyar ancak uymak zorunda değillerdir. Kötü niyetli botlar kuralları hiçe sayabilir. Google ve Bing gibi büyük motorlar ise robots.txt'e saygı gösterir.
Noindex meta etiketi sayfa tarandıktan sonra indeksten çıkarılmasını söyler; sayfa zaten taranmış olur. Robots.txt Disallow ise sayfanın hiç taranmamasını sağlar. Hassas içerik için Noindex yeterli değildir çünkü bot sayfayı yine de çekebilir; tam gizlilik için Disallow kullanılmalıdır.
Urlset tek bir sitemap dosyasının kök etiketidir; içinde <url> elemanları bulunur. Sitemapindex ise birden fazla sitemap'ı listeleyen üst dosyadır; içinde <sitemap> elemanları vardır. 50.000'den fazla URL'si olan siteler sitemap index kullanmalıdır.
* joker karakteri path sonunda kullanıldığında herhangi bir karakter dizisiyle eşleşir. Örneğin Disallow: /admin/* /admin/ altındaki tüm yolları engeller. Google ve Bing bu söz dizimini destekler. $ ile birlikte kullanıldığında (Disallow: /*.php$) sadece .php ile biten URL'ler eşleşir.
Arama motorları robots.txt'i periyodik olarak yeniden çeker. Google genellikle 24 saat içinde günceller ancak bu garanti edilmez. Hemen test etmek için Google Search Console'daki robots.txt Tester aracını kullanabilirsiniz. Canlıya almadan önce mutlaka test ortamında deneyin.
Robots & Sitemap Kontrol Aracını Kullan →