Meta Robots Etiketi: Kapsamlı Rehber
Meta robots etiketi, sayfa bazında arama motoru örümceklerine talimat veren bir HTML meta etiketidir. Robots.txt site genelinde kurallar tanımlarken, meta robots belirli bir sayfanın taranıp taranmayacağını, indekslenip indekslenmeyeceğini ve sayfadaki bağlantıların takip edilip edilmeyeceğini kontrol eder. Bu rehberde noindex, nofollow, noarchive ve diğer direktifleri detaylı olarak inceleyeceğiz.
Meta Robots Etiketinin Temel Yapısı
Meta robots etiketi HTML belgesinin <head> bölümüne yerleştirilir:
<meta name="robots" content="noindex, nofollow">
content özniteliğinde virgülle ayrılmış bir veya daha fazla direktif kullanılır. Küçük harf veya büyük harf fark etmez; ancak tutarlılık için küçük harf kullanımı yaygındır.
Temel Direktifler
noindex
noindex, arama motoruna bu sayfayı indeksleme dizinlerine eklememesini söyler. Sayfa yine taranabilir; ancak arama sonuçlarında görünmez. Kullanım alanları: teşekkür sayfaları, sepet sayfaları, çoğaltılmış içerik (duplicate) sayfaları, gizlilik gerektiren sayfalar. Örnek:
<meta name="robots" content="noindex">
nofollow
nofollow, sayfadaki bağlantıların (linklerin) takip edilmemesini söyler. Örümcek bu sayfayı tarayabilir ve indeksleyebilir; ancak sayfadaki <a href="..."> bağlantılarını crawl etmez. Spam linklerin "PageRank sızıntısını" önlemek veya güvenilmeyen sayfalara link vermemek için kullanılır. Örnek:
<meta name="robots" content="nofollow">
noindex, nofollow
İkisi birlikte kullanıldığında sayfa ne indekslenir ne de sayfadaki bağlantılar takip edilir. Giriş sayfaları, oturum sonrası özel sayfalar veya test sayfaları için sık kullanılır:
<meta name="robots" content="noindex, nofollow">
Ek Direktifler
noarchive
noarchive, arama motorunun bu sayfanın önbelleğe alınmış (cached) bir kopyasını göstermemesini ister. Google'da "Önbelleğe alınmış" bağlantısı görünmez.
nosnippet
nosnippet, arama sonuçlarında bu sayfa için meta açıklama (snippet) gösterilmemesini sağlar. Başlık yine görünebilir ancak açıklama metni boş veya otomatik üretilmiş olabilir.
noodp
noodp, DMOZ/ODP gibi dizinlerden alınan açıklamaların kullanılmamasını ister. DMOZ artık kapalı olduğu için günümüzde nadiren gereklidir.
noimageindex
noimageindex, sayfadaki görsellerin Google Görsel arama sonuçlarına eklenmemesini ister. Sayfanın kendisi metin aramada görünebilir.
max-snippet ve max-image-preview
Google'a snippet veya görsel önizleme uzunluğu hakkında ipucu vermek için kullanılır. Örnek: max-snippet:-1 (snippet sınırı yok), max-image-preview:none (görsel önizleme yok).
index ve follow (Varsayılan)
Hiç meta robots etiketi yoksa arama motorları sayfayı indeksler ve bağlantıları takip eder. Açıkça belirtmek isterseniz:
<meta name="robots" content="index, follow">
Bu varsayılan davranışı onaylar; özellikle önceki bir noindex'i geçersiz kılmak için kullanılabilir (ör. şablon değişikliği sonrası).
Spesifik Botlar İçin Kullanım
Yalnızca belirli bir bot için talimat vermek isterseniz, meta etiketinin name kısmını değiştirin:
<meta name="googlebot" content="noindex, nofollow"> <meta name="bingbot" content="noindex">
Googlebot, Bingbot, Slurp (Yahoo) vb. bot isimleri kullanılabilir. Böylece bir sayfa Google'da görünmezken Bing'de görünebilir.
X-Robots-Tag HTTP Başlığı
Meta etiketi HTML'de bulunmak zorunda değildir. Sunucu yanıtında X-Robots-Tag HTTP başlığı ile de aynı direktifler gönderilebilir. Bu özellikle PDF, görsel veya JavaScript ile render edilen sayfalar için kullanışlıdır. Örnek Apache yapılandırması:
<Files "gizli.pdf"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Robots.txt ile Fark
Robots.txt bir sayfayı taramaktan tamamen engelleyebilir (Disallow). Meta robots ise sayfa taranabilir kalır; ancak indekslenmez veya bağlantılar takip edilmez. Önemli ayrım: Robots.txt ile engellenen sayfalar Google tarafından hiç ziyaret edilmez; meta noindex sayfası ise taranır ama sonuçlara eklenmez. Gizlilik açısından hassas sayfalar için genelde noindex tercih edilir; çünkü sayfa yine taranır ve "bu sayfa taranmadı" bilgisi görünmez.
Özetle meta robots etiketi, sayfa bazında granular kontrol sağlayan güçlü bir araçtır. Doğru kullanıldığında indeksleme kalitesini artırır ve gereksiz sayfaların arama sonuçlarında görünmesini önler.