Robots.txt Disallow: / ile Tüm Tarama Engelleniyor
Robots.txt dosyasında Disallow: / kullanımı, web sitenizin tamamının arama motoru botları tarafından taranmasını engeller. Bu, SEO açısından karşılaşılabilecek en kritik hatalardan biridir. Siteniz Google, Bing veya diğer arama motorlarında görünmez hale gelir.
Bu Hata Nasıl Oluşur?
Genellikle site geliştirme veya bakım sırasında geçici olarak taramayı durdurmak isteyen ekipler bu satırı ekler. Sonrasında kaldırmayı unutmak veya staging ortamından production'a yanlışlıkla kopyalanması sık görülür. Bazı CMS şablonları veya güvenlik eklentileri de varsayılan olarak Disallow: / ekleyebilir.
Disallow: / Ne Yapar?
Disallow: / satırı, kök dizini ve tüm alt dizinleri kapsar. Yani sitenizdeki hiçbir sayfa taranamaz. Sitemap dosyanız bile önemini yitirir; botlar sitemap'i okuyabilse bile, sitemap içindeki URL'leri taramaya çalışmaz çünkü robots.txt bunu yasaklar.
Acil Düzeltme
Eğer sitenizde bu hata varsa, hemen robots.txt dosyanızı düzenleyin. Genel kullanım için önerilen yapı:
User-agent: * Allow: / Disallow: /admin/ Disallow: /wp-admin/ Disallow: /private/ Sitemap: https://sitemapkontrol.com.tr/sitemap.xml
Allow: / ile tüm siteye izin verilir, ardından sadece belirli dizinler (admin, wp-admin vb.) engellenir.
Düzeltme Sonrası
Robots.txt dosyanızı güncelledikten sonra Google Search Console'a gidin ve URL Ekleme aracı ile önemli sayfalarınızı yeniden gönderin. Tarama istatistikleri birkaç gün içinde normale dönmeye başlayacaktır. Mevcut indekslenmiş sayfalar genellikle hemen etkilenmez; ancak yeni sayfalar veya güncellemeler taranamayacağı için uzun vadede sorun büyür.
Alternatif: Sadece Belirli Dizinleri Engellemek
Tüm siteyi engellemek istemiyorsanız, sadece gerekli yolları Disallow ile belirtin:
User-agent: * Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-admin/admin-ajax.php
Bu örnek WordPress için tipik ayarlardır; admin paneli taranmaz ancak site içeriği taranır.
Önlem ve Kontrol
Deployment öncesi robots.txt içeriğini her zaman kontrol edin. Staging ortamında Disallow: / kullanıyorsanız, production'a geçerken bu satırın çıkarıldığından emin olun. Robots & Sitemap Kontrol Aracımız ile herhangi bir anda robots.txt yapınızı test edebilirsiniz.