Robots.txt Disallow: / ile Tüm Tarama Engelleniyor

Robots.txt dosyasında Disallow: / kullanımı, web sitenizin tamamının arama motoru botları tarafından taranmasını engeller. Bu, SEO açısından karşılaşılabilecek en kritik hatalardan biridir. Siteniz Google, Bing veya diğer arama motorlarında görünmez hale gelir.

Bu Hata Nasıl Oluşur?

Genellikle site geliştirme veya bakım sırasında geçici olarak taramayı durdurmak isteyen ekipler bu satırı ekler. Sonrasında kaldırmayı unutmak veya staging ortamından production'a yanlışlıkla kopyalanması sık görülür. Bazı CMS şablonları veya güvenlik eklentileri de varsayılan olarak Disallow: / ekleyebilir.

Disallow: / Ne Yapar?

Disallow: / satırı, kök dizini ve tüm alt dizinleri kapsar. Yani sitenizdeki hiçbir sayfa taranamaz. Sitemap dosyanız bile önemini yitirir; botlar sitemap'i okuyabilse bile, sitemap içindeki URL'leri taramaya çalışmaz çünkü robots.txt bunu yasaklar.

Acil Düzeltme

Eğer sitenizde bu hata varsa, hemen robots.txt dosyanızı düzenleyin. Genel kullanım için önerilen yapı:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /private/

Sitemap: https://sitemapkontrol.com.tr/sitemap.xml

Allow: / ile tüm siteye izin verilir, ardından sadece belirli dizinler (admin, wp-admin vb.) engellenir.

Düzeltme Sonrası

Robots.txt dosyanızı güncelledikten sonra Google Search Console'a gidin ve URL Ekleme aracı ile önemli sayfalarınızı yeniden gönderin. Tarama istatistikleri birkaç gün içinde normale dönmeye başlayacaktır. Mevcut indekslenmiş sayfalar genellikle hemen etkilenmez; ancak yeni sayfalar veya güncellemeler taranamayacağı için uzun vadede sorun büyür.

Alternatif: Sadece Belirli Dizinleri Engellemek

Tüm siteyi engellemek istemiyorsanız, sadece gerekli yolları Disallow ile belirtin:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

Bu örnek WordPress için tipik ayarlardır; admin paneli taranmaz ancak site içeriği taranır.

Önlem ve Kontrol

Deployment öncesi robots.txt içeriğini her zaman kontrol edin. Staging ortamında Disallow: / kullanıyorsanız, production'a geçerken bu satırın çıkarıldığından emin olun. Robots & Sitemap Kontrol Aracımız ile herhangi bir anda robots.txt yapınızı test edebilirsiniz.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.