Robots.txt Nasıl Oluşturulur? Adım Adım Rehber
Robots.txt dosyası, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramayacaklarını belirten basit bir metin dosyasıdır. Yeni bir web sitesi kurduğunuzda veya mevcut sitenizde robots.txt eksikse, bu rehber size sıfırdan nasıl oluşturacağınızı adım adım anlatacaktır.
Adım 1: Dosya Formatını Belirleyin
Robots.txt dosyası düz metin (plain text) formatında olmalıdır. HTML, RTF veya Word formatında kaydedilmemelidir. En iyi uygulama UTF-8 karakter kodlaması kullanmaktır; özellikle Türkçe karakterler (ç, ğ, ş, ü vb.) kullanıyorsanız bu zorunludur. Dosya adı tam olarak robots.txt olmalıdır—küçük harflerle yazılmalı ve uzantı .txt olmalıdır.
Adım 2: Temel Sözdizimini Öğrenin
Robots.txt dosyası birkaç temel direktiften oluşur. Her satırda tek bir direktif bulunur. Boş satırlar ve # ile başlayan yorum satırları kullanılabilir. Önce basit bir örnek inceleyelim:
User-agent: * Disallow: Sitemap: https://www.siteadiniz.com/sitemap.xml
Bu örnek tüm botlara (User-agent: *) her şeyi tarama izni verir (Disallow: boş bırakıldığında engel yoktur) ve sitemap konumunu bildirir.
Adım 3: Engellenecek Dizinleri Belirleyin
Çoğu web sitesinde tarama yapılmasını istemediğiniz alanlar vardır. Örneğin WordPress kullananlar yönetim panelini, e-ticaret siteleri ödeme ve hesap sayfalarını engelleyebilir. Disallow direktifi ile bu yolları belirtin:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /cgi-bin/ Disallow: /private/ Allow: /wp-admin/admin-ajax.php Sitemap: https://www.siteadiniz.com/sitemap.xml
Allow direktifi, Disallow ile engellenmiş bir alanda istisna oluşturur. Örneğin admin-ajax.php bazı tema özellikleri için gerekli olabilir.
Adım 4: Farklı Botlar İçin Kurallar Tanımlayın
Bazen Googlebot ile Bingbot için farklı kurallar uygulamak isteyebilirsiniz. Her User-agent için ayrı blok oluşturun. Bloklar birbirini takip eder ve her blok kendi kurallarını taşır:
User-agent: Googlebot Disallow: /test-sayfasi/ Allow: / User-agent: Bingbot Disallow: /gecici/ Allow: / User-agent: * Disallow: /admin/ Sitemap: https://www.siteadiniz.com/sitemap.xml
Adım 5: Dosyayı Doğru Konuma Yükleyin
Robots.txt dosyası mutlaka sitenizin kök dizininde (root) yer almalıdır. Yani https://www.siteadiniz.com/robots.txt adresinden erişilebilir olmalıdır. https://www.siteadiniz.com/blog/robots.txt gibi alt dizinlerde olursa arama motorları bunu göz ardı eder. FTP, cPanel Dosya Yöneticisi veya hosting paneliniz üzerinden kök dizine yükleme yapın.
Adım 6: Dosyayı Test Edin
Oluşturduğunuz robots.txt dosyasını yüklemeden önce mutlaka test edin. Google Search Console içindeki robots.txt Tester aracını kullanarak kurallarınızın beklediğiniz gibi çalışıp çalışmadığını kontrol edebilirsiniz. Ayrıca sitenize özel robots.txt kontrol araçları da mevcuttur.
Yaygın Hatalardan Kaçının
- Disallow: / — Tüm siteyi engeller; yalnızca sitenizi tamamen arama motorlarından gizlemek istiyorsanız kullanın.
- Yanlış yol yazımı — /wp-admin gibi yollar büyük/küçük harf duyarlı olabilir; sunucunuzun yapısına uygun yazın.
- Çok fazla engel — Önemli içerik sayfalarını yanlışlıkla engellemeyin.
Robots.txt dosyanızı oluşturduktan sonra düzenli aralıklarla güncel tutun. Yeni eklenen admin paneli veya geçici sayfalar varsa kuralları buna göre güncelleyin. Unutmayın: Robots.txt bir talimat dosyasıdır; kötü niyetli botlar uymak zorunda değildir, ancak Google ve Bing gibi büyük arama motorları kurallarınıza saygı gösterir.