Google Bot Engelleme: Doğru Yöntemler

Belirli sayfaları veya içeriği Google arama sonuçlarından gizlemek isteyebilirsiniz. Bunun birçok meşru nedeni vardır: yönetim panelleri, ödeme sayfaları, çoğaltılmış içerik, test sayfaları veya gizlilik gerektiren alanlar. Bu rehberde Google bot'u doğru şekilde engellemek için kullanabileceğiniz yöntemleri ve hangi durumda hangisini tercih etmeniz gerektiğini açıklayacağız.

Yöntem 1: Robots.txt ile Disallow

Robots.txt dosyasında Disallow direktifi, belirli URL yollarının taranmasını engeller. Googlebot bu dizinlere veya dosyalara erişmeye çalışmaz. Örnek:

User-agent: Googlebot
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /odeme/
Disallow: /test-sayfasi/

Ne zaman kullanılır? Tüm bir dizinin taranmasını tamamen önlemek istediğinizde. Örneğin yönetim paneli, backend API'lar veya geçici sayfalar.

Dikkat: Robots.txt ile engellenen sayfalar Google tarafından hiç ziyaret edilmez. Ancak sayfa başka sitelerden link alıyorsa Google URL'yi bilir ve sonuçlarda "Bu sayfanın bir açıklaması mevcut değil" şeklinde gösterebilir. Gizlilik açısından hassas içerik için tek başına yeterli olmayabilir.

Yöntem 2: Meta noindex Etiketi

Sayfa HTML'inde <meta name="robots" content="noindex"> kullanarak Google'a bu sayfayı indekslememesini söylersiniz. Sayfa yine taranır; ancak arama sonuçlarına eklenmez.

<meta name="robots" content="noindex">

Ne zaman kullanılır? Sayfanın taranmasında sakınca yok; ancak arama sonuçlarında görünmesini istemiyorsanız. Örnek: teşekkür sayfaları, sepet sayfaları, kullanıcıya özel içerik. Bu yöntem, sayfa başka yerlerden link alsa bile indekslenmesini engeller; robots.txt'ten daha güçlü bir "gizlilik" sağlar.

Yöntem 3: X-Robots-Tag HTTP Başlığı

HTML'de meta etiketi olmayan dosyalar (PDF, görsel, video) için sunucu yanıtında X-Robots-Tag başlığı kullanılabilir. Örnek Apache yapılandırması:

<FilesMatch "\.(pdf|doc)$">
  Header set X-Robots-Tag "noindex"
</FilesMatch>

Belirli bir dizindeki tüm dosyalar için de uygulanabilir. Bu yöntem, dosya içeriğini değiştirmeden engelleme sağlar.

Yöntem 4: Googlebot-Image Engelleme

Yalnızca görsellerin Google Görsel aramasında yer almasını engellemek istiyorsanız:

User-agent: Googlebot-Image
Disallow: /gizli-resimler/

Veya sayfa bazında:

<meta name="googlebot" content="noimageindex">

Hangi Yöntemi Ne Zaman Kullanmalı?

Admin paneli, backend: Robots.txt Disallow. Teşekkür sayfası, sepet: Meta noindex. PDF, görsel dosyaları: X-Robots-Tag veya robots.txt. Tüm siteyi gizle: Disallow: / (dikkatli kullanın).

Yapılmaması Gerekenler

  • Disallow: / — Tüm siteyi engellemek sadece siteyi geliştirme veya bakım modunda tutarken geçici olarak kullanılmalıdır. Kalıcı kullanım sitenizi arama sonuçlarından tamamen kaldırır.
  • Önemli sayfaları yanlışlıkla engellemek — Blog, ürün sayfaları veya landing page'leri engellemeyin. Önce hangi URL'lerin engelleneceğini listeleyin ve test edin.
  • Password protection'a güvenmek — Şifre korumalı sayfalar genelde taranmaz; ancak URL başka yerden link alıyorsa indekslenebilir. noindex veya Disallow ile ekstra güvence sağlayın.

Özetle, doğru yöntemi seçmek içeriğin türüne ve gizlilik ihtiyacına bağlıdır. Robots.txt taramayı önler; meta noindex indekslemeyi önler. Her iki yöntemi de gerektiğinde birlikte kullanabilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.