Parametreli URL'leri Robots.txt ile Engelleme

Web sitenizde ?utm_source=google, ?session=abc123, ?ref= gibi query string parametreli URL'ler oluşabilir. Bu URL'ler genellikle aynı içeriğin farklı varyasyonları olarak duplicate content sorununa yol açar. Robots.txt ile parametreli URL'leri engellemek istediğinizde bazı önemli noktalar vardır.

Robots.txt'in Sınırlamaları

Standart robots.txt protokolü sadece path (yol) kısmını destekler. Query string (? ve sonrası) birçok robot tarafından path'in parçası olarak değerlendirilmez. Yani Disallow: /*?* gibi bir kural bazı botlarda işe yaramayabilir. Google, robots.txt'te path-based kuralları uygular; query string konusunda tam standart yoktur.

Google'ın Yaklaşımı

Google, URL parametrelerini genelde kendi algoritmasıyla yönetir. Özellikle utm_*, ref, source gibi yaygın parametrelerin çoğu otomatik olarak canonical sayfaya birleştirilebilir. Yine de robots.txt ile engellemek istediğiniz belirli pattern'ler varsa, denemenizde fayda var.

Deneyebileceğiniz Pattern'ler

Bazı robotlar * wildcard'ı destekler. Örnek:

User-agent: *
Disallow: /*?utm_
Disallow: /*?session=
Disallow: /*?ref=

Bu kurallar, URL'de bu parametreleri içeren yolları engellemeye çalışır. Ancak tüm arama motorları bu sözdizimini desteklemez. Google, path'te * kullanımını kısmen destekler.

Daha İyi Alternatifler

  • Canonical tag: Parametreli sayfada canonical URL'yi parametresiz versiyona işaret edin.
  • Sitemap'te sadece temiz URL'ler: Sitemap'a parametreli URL'leri eklemeyin.
  • Google Search Console URL Parametreleri: Belirli parametrelerin "Sadece bu URL'yi tara" veya "Bu URL'yi tara ama indeksleme" şeklinde işlenmesini Google'a söyleyebilirsiniz (bu özellik sınırlı kullanılabilirlikte).

Spesifik Dizinleri Engellemek

Parametreli URL'ler belirli bir ön ek altındaysa, path bazlı engelleme daha güvenilir olabilir. Örneğin filtreleme sonuçları:

Disallow: /arama?
Disallow: /filtre/

Burada tam path'i bildiğiniz durumlarda Disallow daha iyi çalışır.

UTM ve Takip Parametreleri

utm_source, utm_medium, utm_campaign gibi parametreler reklam ve kampanya takibi için kullanılır. Bu URL'ler genellikle canonical sayfayla aynı içeriği sunar. Google bu parametreleri büyük ölçüde otomatik olarak birleştirir; yine de sitemap'inize utm'li URL'leri eklememek ve canonical tag kullanmak en iyi uygulamadır.

Özet

Robots.txt ile parametreli URL engelleme sınırlı ve botlara göre değişkendir. En güvenilir yöntem canonical tag kullanmak ve sitemap'te yalnızca temiz URL'leri listelemektir. Robots & Sitemap Kontrol Aracımız ile Disallow kurallarınızı test ederek belirli bir URL yolunun engellenip engellenmediğini doğrulayabilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.