Meta Robots Etiketi: Kapsamlı Rehber

Meta robots etiketi, sayfa bazında arama motoru örümceklerine talimat veren bir HTML meta etiketidir. Robots.txt site genelinde kurallar tanımlarken, meta robots belirli bir sayfanın taranıp taranmayacağını, indekslenip indekslenmeyeceğini ve sayfadaki bağlantıların takip edilip edilmeyeceğini kontrol eder. Bu rehberde noindex, nofollow, noarchive ve diğer direktifleri detaylı olarak inceleyeceğiz.

Meta Robots Etiketinin Temel Yapısı

Meta robots etiketi HTML belgesinin <head> bölümüne yerleştirilir:

<meta name="robots" content="noindex, nofollow">

content özniteliğinde virgülle ayrılmış bir veya daha fazla direktif kullanılır. Küçük harf veya büyük harf fark etmez; ancak tutarlılık için küçük harf kullanımı yaygındır.

Temel Direktifler

noindex

noindex, arama motoruna bu sayfayı indeksleme dizinlerine eklememesini söyler. Sayfa yine taranabilir; ancak arama sonuçlarında görünmez. Kullanım alanları: teşekkür sayfaları, sepet sayfaları, çoğaltılmış içerik (duplicate) sayfaları, gizlilik gerektiren sayfalar. Örnek:

<meta name="robots" content="noindex">

nofollow

nofollow, sayfadaki bağlantıların (linklerin) takip edilmemesini söyler. Örümcek bu sayfayı tarayabilir ve indeksleyebilir; ancak sayfadaki <a href="..."> bağlantılarını crawl etmez. Spam linklerin "PageRank sızıntısını" önlemek veya güvenilmeyen sayfalara link vermemek için kullanılır. Örnek:

<meta name="robots" content="nofollow">

noindex, nofollow

İkisi birlikte kullanıldığında sayfa ne indekslenir ne de sayfadaki bağlantılar takip edilir. Giriş sayfaları, oturum sonrası özel sayfalar veya test sayfaları için sık kullanılır:

<meta name="robots" content="noindex, nofollow">

Ek Direktifler

noarchive

noarchive, arama motorunun bu sayfanın önbelleğe alınmış (cached) bir kopyasını göstermemesini ister. Google'da "Önbelleğe alınmış" bağlantısı görünmez.

nosnippet

nosnippet, arama sonuçlarında bu sayfa için meta açıklama (snippet) gösterilmemesini sağlar. Başlık yine görünebilir ancak açıklama metni boş veya otomatik üretilmiş olabilir.

noodp

noodp, DMOZ/ODP gibi dizinlerden alınan açıklamaların kullanılmamasını ister. DMOZ artık kapalı olduğu için günümüzde nadiren gereklidir.

noimageindex

noimageindex, sayfadaki görsellerin Google Görsel arama sonuçlarına eklenmemesini ister. Sayfanın kendisi metin aramada görünebilir.

max-snippet ve max-image-preview

Google'a snippet veya görsel önizleme uzunluğu hakkında ipucu vermek için kullanılır. Örnek: max-snippet:-1 (snippet sınırı yok), max-image-preview:none (görsel önizleme yok).

index ve follow (Varsayılan)

Hiç meta robots etiketi yoksa arama motorları sayfayı indeksler ve bağlantıları takip eder. Açıkça belirtmek isterseniz:

<meta name="robots" content="index, follow">

Bu varsayılan davranışı onaylar; özellikle önceki bir noindex'i geçersiz kılmak için kullanılabilir (ör. şablon değişikliği sonrası).

Spesifik Botlar İçin Kullanım

Yalnızca belirli bir bot için talimat vermek isterseniz, meta etiketinin name kısmını değiştirin:

<meta name="googlebot" content="noindex, nofollow">
<meta name="bingbot" content="noindex">

Googlebot, Bingbot, Slurp (Yahoo) vb. bot isimleri kullanılabilir. Böylece bir sayfa Google'da görünmezken Bing'de görünebilir.

X-Robots-Tag HTTP Başlığı

Meta etiketi HTML'de bulunmak zorunda değildir. Sunucu yanıtında X-Robots-Tag HTTP başlığı ile de aynı direktifler gönderilebilir. Bu özellikle PDF, görsel veya JavaScript ile render edilen sayfalar için kullanışlıdır. Örnek Apache yapılandırması:

<Files "gizli.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Robots.txt ile Fark

Robots.txt bir sayfayı taramaktan tamamen engelleyebilir (Disallow). Meta robots ise sayfa taranabilir kalır; ancak indekslenmez veya bağlantılar takip edilmez. Önemli ayrım: Robots.txt ile engellenen sayfalar Google tarafından hiç ziyaret edilmez; meta noindex sayfası ise taranır ama sonuçlara eklenmez. Gizlilik açısından hassas sayfalar için genelde noindex tercih edilir; çünkü sayfa yine taranır ve "bu sayfa taranmadı" bilgisi görünmez.

Özetle meta robots etiketi, sayfa bazında granular kontrol sağlayan güçlü bir araçtır. Doğru kullanıldığında indeksleme kalitesini artırır ve gereksiz sayfaların arama sonuçlarında görünmesini önler.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.