Google Bot Engelleme: Doğru Yöntemler
Belirli sayfaları veya içeriği Google arama sonuçlarından gizlemek isteyebilirsiniz. Bunun birçok meşru nedeni vardır: yönetim panelleri, ödeme sayfaları, çoğaltılmış içerik, test sayfaları veya gizlilik gerektiren alanlar. Bu rehberde Google bot'u doğru şekilde engellemek için kullanabileceğiniz yöntemleri ve hangi durumda hangisini tercih etmeniz gerektiğini açıklayacağız.
Yöntem 1: Robots.txt ile Disallow
Robots.txt dosyasında Disallow direktifi, belirli URL yollarının taranmasını engeller. Googlebot bu dizinlere veya dosyalara erişmeye çalışmaz. Örnek:
User-agent: Googlebot Disallow: /admin/ Disallow: /wp-admin/ Disallow: /odeme/ Disallow: /test-sayfasi/
Ne zaman kullanılır? Tüm bir dizinin taranmasını tamamen önlemek istediğinizde. Örneğin yönetim paneli, backend API'lar veya geçici sayfalar.
Dikkat: Robots.txt ile engellenen sayfalar Google tarafından hiç ziyaret edilmez. Ancak sayfa başka sitelerden link alıyorsa Google URL'yi bilir ve sonuçlarda "Bu sayfanın bir açıklaması mevcut değil" şeklinde gösterebilir. Gizlilik açısından hassas içerik için tek başına yeterli olmayabilir.
Yöntem 2: Meta noindex Etiketi
Sayfa HTML'inde <meta name="robots" content="noindex"> kullanarak Google'a bu sayfayı indekslememesini söylersiniz. Sayfa yine taranır; ancak arama sonuçlarına eklenmez.
<meta name="robots" content="noindex">
Ne zaman kullanılır? Sayfanın taranmasında sakınca yok; ancak arama sonuçlarında görünmesini istemiyorsanız. Örnek: teşekkür sayfaları, sepet sayfaları, kullanıcıya özel içerik. Bu yöntem, sayfa başka yerlerden link alsa bile indekslenmesini engeller; robots.txt'ten daha güçlü bir "gizlilik" sağlar.
Yöntem 3: X-Robots-Tag HTTP Başlığı
HTML'de meta etiketi olmayan dosyalar (PDF, görsel, video) için sunucu yanıtında X-Robots-Tag başlığı kullanılabilir. Örnek Apache yapılandırması:
<FilesMatch "\.(pdf|doc)$"> Header set X-Robots-Tag "noindex" </FilesMatch>
Belirli bir dizindeki tüm dosyalar için de uygulanabilir. Bu yöntem, dosya içeriğini değiştirmeden engelleme sağlar.
Yöntem 4: Googlebot-Image Engelleme
Yalnızca görsellerin Google Görsel aramasında yer almasını engellemek istiyorsanız:
User-agent: Googlebot-Image Disallow: /gizli-resimler/
Veya sayfa bazında:
<meta name="googlebot" content="noimageindex">
Hangi Yöntemi Ne Zaman Kullanmalı?
Admin paneli, backend: Robots.txt Disallow. Teşekkür sayfası, sepet: Meta noindex. PDF, görsel dosyaları: X-Robots-Tag veya robots.txt. Tüm siteyi gizle: Disallow: / (dikkatli kullanın).
Yapılmaması Gerekenler
- Disallow: / — Tüm siteyi engellemek sadece siteyi geliştirme veya bakım modunda tutarken geçici olarak kullanılmalıdır. Kalıcı kullanım sitenizi arama sonuçlarından tamamen kaldırır.
- Önemli sayfaları yanlışlıkla engellemek — Blog, ürün sayfaları veya landing page'leri engellemeyin. Önce hangi URL'lerin engelleneceğini listeleyin ve test edin.
- Password protection'a güvenmek — Şifre korumalı sayfalar genelde taranmaz; ancak URL başka yerden link alıyorsa indekslenebilir. noindex veya Disallow ile ekstra güvence sağlayın.
Özetle, doğru yöntemi seçmek içeriğin türüne ve gizlilik ihtiyacına bağlıdır. Robots.txt taramayı önler; meta noindex indekslemeyi önler. Her iki yöntemi de gerektiğinde birlikte kullanabilirsiniz.