Noindex vs Robots.txt Engelleme: Hangisini Kullanmalı?

Bir sayfanın arama sonuçlarında görünmesini engellemek için iki ana yöntem vardır: noindex meta tag ve robots.txt Disallow. İkisi de farklı mekanizmalar kullanır ve farklı senaryolarda uygundur. Yanlış tercih hem kaynak israfına hem de istenmeyen indekslemelere yol açabilir.

Robots.txt Disallow Nasıl Çalışır?

Robots.txt, arama motoru botlarına "bu yolları tarama" der. Bot sayfayı hiç talep etmez; dolayısıyla sayfa içeriğini görmez ve indekse ekleyemez. Ancak bot sayfayı başka kaynaklardan (örneğin başka sitelerden gelen linkler) keşfederse, sadece robots.txt'e güvenerek sayfayı indeksleyebilir. Çünkü robots.txt sadece taramayı kısıtlar, indekslemeyi doğrudan yasaklamaz.

Noindex Meta Tag Nasıl Çalışır?

Noindex, sayfa HTML'inin <head> bölümünde yer alır: <meta name="robots" content="noindex">. Bot sayfayı taradığında bu talimatı okur ve sayfayı indekse eklemez. Sayfa taranabilir (robots.txt izin veriyorsa) ama indekslenmez. Bu, "lütfen bu sayfayı arama sonuçlarına ekleme" demektir.

Ne Zaman Robots.txt Kullanılır?

  • Bütün bir dizin veya yol taranmasın istediğinizde: Örneğin /admin/, /cgi-bin/, /api/ gibi alanlar.
  • Sunucu kaynağı tasarrufu: Gereksiz tarama isteklerini azaltmak için.
  • İçerik gizliliği değil, tarama kontrolü istediğinizde: Sayfa zaten başka sitelerden link almıyorsa veya önemsizse robots.txt yeterli olabilir.

Ne Zaman Noindex Kullanılır?

  • Tek sayfa düzeyinde engelleme: Belirli bir sayfa indekslenmesin ama taranabilsin (örneğin oturum sonrası teşekkür sayfası).
  • Duplicate veya ince içerik: Kategori sayfaları, filtreleme sonuçları gibi sayfalar taranabilir ama indekslenmemeli.
  • Robots.txt ile engellenemeyecek sayfalar: Başka sitelerden çok link alan sayfalar; robots.txt yeterli olmayabilir, noindex kesin sonuç verir.

Google'ın Resmi Görüşü

Google, indekslemeyi gerçekten engellemek istiyorsanız noindex kullanmanızı önerir. Robots.txt sadece taramayı durdurur; eğer sayfa zaten başka yerlerden keşfedilmişse indekslenebilir. Kesin engelleme için noindex daha güvenilirdir.

Pratik Öneri

Admin paneli, login, API uçları gibi hiç taranmaması gereken alanlar için robots.txt Disallow kullanın. Duplicate veya düşük kaliteli ama taranabilir sayfalar için noindex kullanın. Sitemap'te noindex sayfaları listelemeyin; sitemap sadece indekslenmesini istediğiniz URL'leri içermelidir.

Robots & Sitemap Kontrol Aracımız ile hem robots.txt hem de belirli URL'lerin tarama durumunu test edebilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.