Sorgu Parametreli URL'leri Engelleme
E-ticaret ve filtreleme ağırlıklı sitelerde ?sort_by=, ?filter=, ?page=, ?utm_ gibi parametreler binlerce URL varyantı oluşturur. Bu varyantlar çoğu zaman duplicate content'tir ve crawl bütçesini tüketir. Robots.txt ile belirli parametre pattern'lerini engelleyerek bot trafiğini optimize edebilirsiniz. Bu rehberde Disallow pattern'leri ve alternatif yöntemleri inceliyoruz.
Robots.txt'te query string (? ile başlayan kısım) path'e dahil değildir. Yani Disallow: /kategori/?sort= doğrudan çalışmaz. Bunun yerine path pattern'leri veya wildcard kullanılır.
Path Tabanlı Engelleme
Shopify ve bazı platformlar *sort_by* gibi path'ler üretir. Örnek:
User-agent: *
Disallow: /*sort_by=
Disallow: /*filter=
Disallow: /*?*utm_
Not: Standard robots.txt query string'i path'e dahil etmez. Birçok bot (Google dahil) Disallow'u sadece path kısmına uygular. Bu nedenle /collections/*sort_by* gibi path pattern'leri platformda varsa işe yarar.
Google URL Parametreleri
Google Search Console'da Eski Araçlar ve Raporlar > URL Parametreleri bölümünde belirli parametrelerin nasıl işleneceğini (taramama, sadece canonical vb.) ayarlayabilirsiniz. Bu, robots.txt'ten daha esnek bir yöntemdir.
Disallow: / hatasını yapmayın; tüm path'leri engellemek yerine sadece parametreli sayfa pattern'lerini hedefleyin. WooCommerce ve Shopify rehberlerimizde platforma özel örnekler bulabilirsiniz.
Robots.txt nedir ve Allow/Disallow sözdizimini öğrenin. Admin panelini engelleme farklı bir kullanım örneğidir. SEO teknik kontrol listesi ile tüm ayarları gözden geçirin.
Aracı Aç → /arac/