Googlebot ve Bingbot User-Agent Rehberi

User-Agent, bir tarayıcı veya botun kendisini tanıttığı metin dizisidir. Arama motoru örümcekleri robots.txt dosyanızı okurken hangi kuralların kendilerine uygulanacağını User-agent satırına bakarak belirler. Doğru bot isimlerini bilmek, yalnızca belirli arama motorlarına özel kurallar yazmanıza olanak tanır.

Örneğin sadece Google’ın resim örümceğini engellemek veya sadece Bing’e özel bir sitemap göstermek isterseniz, User-agent değerlerini kullanmanız gerekir. Bu rehberde en yaygın bot isimlerini ve kullanım senaryolarını bulacaksınız.

Google Botları

Googlebot — Ana web tarayıcısı. Sayfaları tarar ve Google arama indeksine ekler. En çok kullanılan user-agent’tır.

Googlebot-Image — Resim araması için görsel taraması yapar. Görsel odaklı sitelerde bu botu engelleyebilir veya kısıtlayabilirsiniz.

Googlebot-News — Google News için haber içeriği tarar. Haber siteleri bu botu özellikle dikkate almalıdır.

Googlebot-Video — Video içerikleri tarar.

Googlebot-Desktop ve Googlebot-Smartphone — Mobil ve masaüstü versiyonları için ayrı tarayıcılar. Genelde Googlebot yeterlidir; hepsi benzer kurallara uyar.

Bing ve Microsoft Botları

Bingbot — Bing arama motorunun ana tarayıcısı. robots.txt kurallarında Bingbot olarak yazılır.

msnbot — Eski MSN arama botu. Artık Bingbot kullanılmaktadır; geriye dönük uyumluluk için hâlâ bazı dokümanlarda geçer.

Bing, Google ile benzer robots.txt standardını kullanır. Genelde User-agent: * ile verdiğiniz kurallar Bingbot için de geçerlidir.

Yandex ve Diğer Botlar

YandexBot — Yandex arama motorunun botu. Özellikle Rusya pazarına hitap eden siteler için önemlidir.

Baiduspider — Baidu (Çin) arama motoru. Çin pazarına yönelik sitelerde kullanılır.

DuckDuckBot — DuckDuckGo arama motoru. Bing verilerini kullandığı için genelde Bingbot kuralları yeterli olur.

Slurp — Yahoo arama motoru (artık Bing tabanlı).

Belirli Botlara Özel Kurallar Yazmak

Robots.txt’te birden fazla User-agent bloğu tanımlayabilirsiniz. Örneğin sadece resim botlarını engellemek istiyorsanız:

User-agent: *
Allow: /

User-agent: Googlebot-Image
Disallow: /gizli-gorseller/

İlk blokta tüm botlara izin verilir. İkinci blokta sadece Googlebot-Image’e /gizli-gorseller/ dizini engellenir. Ana Googlebot bu kuraldan etkilenmez.

Benzer şekilde sadece Bing’e sitemap göstermek isterseniz (nadir bir senaryo):

User-agent: Bingbot
Allow: /
Sitemap: https://sitemapkontrol.com.tr/sitemap-bing.xml

User-Agent Spoofing Uyarısı

Kötü niyetli botlar kendilerini Googlebot veya Bingbot olarak tanıtabilir. Bu nedenle robots.txt güvenlik aracı değildir; hassas verileri sadece robots.txt ile korumaya çalışmayın. Giriş sayfaları, API’ler ve özel alanlar sunucu tarafında erişim kontrolü ile korunmalıdır.

Google, kendi botlarını doğrulamak için reverse DNS kontrolü yapmanızı önerir. Ancak bu kontrol robots.txt için değil, sunucu erişim logları için geçerlidir.

Özet

User-agent değerleri, robots.txt’te hedef botu seçmenizi sağlar. Çoğu durumda User-agent: * yeterlidir. Belirli botlara özel kısıtlamalar koyarken doğru isimleri kullanın ve değişikliklerinizi URL Test aracı ile doğrulayın.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.