Robots.txt Sitemap Direktifi Eksik

Web sitenizin robots.txt dosyası, arama motoru botlarına hangi sayfaların taranabileceğini söyler. Ancak pek çok site sahibi, robots.txt içinde Sitemap direktifinin de olması gerektiğini atlar. Bu direktif eksik olduğunda, Google ve diğer arama motorları sitemap.xml dosyanızı otomatik olarak keşfetmekte zorlanabilir veya geç keşfedebilir.

Sitemap Direktifi Neden Önemli?

Sitemap dosyanız, sitenizdeki tüm önemli URL'leri listeler. Arama motorları bu dosyayı kullanarak sitenizi daha verimli tarar ve yeni içerikleri daha hızlı indeksler. Robots.txt içinde Sitemap satırı olmadan, botlar sitemap'inizin varlığını ancak rastgele keşif veya site taraması sırasında öğrenebilir. Bu da özellikle büyük sitelerde indeksleme gecikmelerine yol açar.

Yaygın Hatalar

Birçok robots.txt dosyası yalnızca User-agent ve Disallow/Allow kurallarını içerir. Örneğin:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Bu yapı doğrudur ancak eksiktir. Sitemap referansı olmadan arama motorları sitemap dosyanızı Google Search Console üzerinden göndermiş olsanız bile, robots.txt üzerinden de bu bilgiyi almaları en iyi uygulamadır.

Nasıl Düzeltilir?

Robots.txt dosyanızın en sonuna veya uygun bir yerine Sitemap satırını ekleyin. Tam URL kullanmanız gerekir:

User-agent: *
Allow: /
Disallow: /admin/

Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

Birden fazla sitemap kullanıyorsanız (sitemap index), her birini ayrı satırda ekleyin:

Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Sitemap: https://sitemapkontrol.com.tr/sitemap-blog.xml
Sitemap: https://sitemapkontrol.com.tr/sitemap-urunler.xml

Dikkat Edilmesi Gerekenler

  • Sitemap URL'si mutlaka tam ve geçerli olmalı (https:// ile başlamalı).
  • Yanlış domain veya protokol (http yerine https) kullanımı sorunlara yol açar.
  • Sitemap dosyası erişilebilir olmalı; 404 veya 500 hatası vermemeli.
  • Büyük harf duyarlılığı olabilir; bazı sunucularda sitemap.xml ile Sitemap.XML farklı davranabilir.

Kontrol ve Doğrulama

Robots.txt dosyanızı güncelledikten sonra, Robots & Sitemap Kontrol Aracımızı kullanarak Sitemap direktifinin doğru parse edildiğini kontrol edebilirsiniz. Google Search Console'daki robots.txt test aracı da Sitemap satırını gösterir.

Büyük Siteler İçin Önemi

Küçük sitelerde (örneğin 50 sayfadan az) arama motorları sitemap olmadan da tüm sayfaları keşfedebilir. Ancak yüzlerce veya binlerce sayfanız varsa sitemap hayati önem taşır. Sitemap direktifi olmadan botlar sitemap dosyanızı bulmak için siteyi rastgele taramak zorunda kalır; bu da kaynak israfı ve gecikmeli indeksleme anlamına gelir.

Özetle: Robots.txt dosyanızda mutlaka Sitemap direktifi bulunsun. Bu küçük ekleme, özellikle yeni veya büyük sitelerde indeksleme performansını ciddi şekilde iyileştirebilir.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.