Robots.txt Sitemap Direktifi Eksik
Web sitenizin robots.txt dosyası, arama motoru botlarına hangi sayfaların taranabileceğini söyler. Ancak pek çok site sahibi, robots.txt içinde Sitemap direktifinin de olması gerektiğini atlar. Bu direktif eksik olduğunda, Google ve diğer arama motorları sitemap.xml dosyanızı otomatik olarak keşfetmekte zorlanabilir veya geç keşfedebilir.
Sitemap Direktifi Neden Önemli?
Sitemap dosyanız, sitenizdeki tüm önemli URL'leri listeler. Arama motorları bu dosyayı kullanarak sitenizi daha verimli tarar ve yeni içerikleri daha hızlı indeksler. Robots.txt içinde Sitemap satırı olmadan, botlar sitemap'inizin varlığını ancak rastgele keşif veya site taraması sırasında öğrenebilir. Bu da özellikle büyük sitelerde indeksleme gecikmelerine yol açar.
Yaygın Hatalar
Birçok robots.txt dosyası yalnızca User-agent ve Disallow/Allow kurallarını içerir. Örneğin:
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/
Bu yapı doğrudur ancak eksiktir. Sitemap referansı olmadan arama motorları sitemap dosyanızı Google Search Console üzerinden göndermiş olsanız bile, robots.txt üzerinden de bu bilgiyi almaları en iyi uygulamadır.
Nasıl Düzeltilir?
Robots.txt dosyanızın en sonuna veya uygun bir yerine Sitemap satırını ekleyin. Tam URL kullanmanız gerekir:
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Birden fazla sitemap kullanıyorsanız (sitemap index), her birini ayrı satırda ekleyin:
Sitemap: https://sitemapkontrol.com.tr/sitemap.xml Sitemap: https://sitemapkontrol.com.tr/sitemap-blog.xml Sitemap: https://sitemapkontrol.com.tr/sitemap-urunler.xml
Dikkat Edilmesi Gerekenler
- Sitemap URL'si mutlaka tam ve geçerli olmalı (https:// ile başlamalı).
- Yanlış domain veya protokol (http yerine https) kullanımı sorunlara yol açar.
- Sitemap dosyası erişilebilir olmalı; 404 veya 500 hatası vermemeli.
- Büyük harf duyarlılığı olabilir; bazı sunucularda sitemap.xml ile Sitemap.XML farklı davranabilir.
Kontrol ve Doğrulama
Robots.txt dosyanızı güncelledikten sonra, Robots & Sitemap Kontrol Aracımızı kullanarak Sitemap direktifinin doğru parse edildiğini kontrol edebilirsiniz. Google Search Console'daki robots.txt test aracı da Sitemap satırını gösterir.
Büyük Siteler İçin Önemi
Küçük sitelerde (örneğin 50 sayfadan az) arama motorları sitemap olmadan da tüm sayfaları keşfedebilir. Ancak yüzlerce veya binlerce sayfanız varsa sitemap hayati önem taşır. Sitemap direktifi olmadan botlar sitemap dosyanızı bulmak için siteyi rastgele taramak zorunda kalır; bu da kaynak israfı ve gecikmeli indeksleme anlamına gelir.
Özetle: Robots.txt dosyanızda mutlaka Sitemap direktifi bulunsun. Bu küçük ekleme, özellikle yeni veya büyük sitelerde indeksleme performansını ciddi şekilde iyileştirebilir.