Robots.txt Nasıl Oluşturulur? Adım Adım Rehber

Robots.txt dosyası, sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramayacaklarını belirten basit bir metin dosyasıdır. Yeni bir web sitesi kurduğunuzda veya mevcut sitenizde robots.txt eksikse, bu rehber size sıfırdan nasıl oluşturacağınızı adım adım anlatacaktır.

Adım 1: Dosya Formatını Belirleyin

Robots.txt dosyası düz metin (plain text) formatında olmalıdır. HTML, RTF veya Word formatında kaydedilmemelidir. En iyi uygulama UTF-8 karakter kodlaması kullanmaktır; özellikle Türkçe karakterler (ç, ğ, ş, ü vb.) kullanıyorsanız bu zorunludur. Dosya adı tam olarak robots.txt olmalıdır—küçük harflerle yazılmalı ve uzantı .txt olmalıdır.

Adım 2: Temel Sözdizimini Öğrenin

Robots.txt dosyası birkaç temel direktiften oluşur. Her satırda tek bir direktif bulunur. Boş satırlar ve # ile başlayan yorum satırları kullanılabilir. Önce basit bir örnek inceleyelim:

User-agent: *
Disallow:

Sitemap: https://www.siteadiniz.com/sitemap.xml

Bu örnek tüm botlara (User-agent: *) her şeyi tarama izni verir (Disallow: boş bırakıldığında engel yoktur) ve sitemap konumunu bildirir.

Adım 3: Engellenecek Dizinleri Belirleyin

Çoğu web sitesinde tarama yapılmasını istemediğiniz alanlar vardır. Örneğin WordPress kullananlar yönetim panelini, e-ticaret siteleri ödeme ve hesap sayfalarını engelleyebilir. Disallow direktifi ile bu yolları belirtin:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /private/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.siteadiniz.com/sitemap.xml

Allow direktifi, Disallow ile engellenmiş bir alanda istisna oluşturur. Örneğin admin-ajax.php bazı tema özellikleri için gerekli olabilir.

Adım 4: Farklı Botlar İçin Kurallar Tanımlayın

Bazen Googlebot ile Bingbot için farklı kurallar uygulamak isteyebilirsiniz. Her User-agent için ayrı blok oluşturun. Bloklar birbirini takip eder ve her blok kendi kurallarını taşır:

User-agent: Googlebot
Disallow: /test-sayfasi/
Allow: /

User-agent: Bingbot
Disallow: /gecici/
Allow: /

User-agent: *
Disallow: /admin/

Sitemap: https://www.siteadiniz.com/sitemap.xml

Adım 5: Dosyayı Doğru Konuma Yükleyin

Robots.txt dosyası mutlaka sitenizin kök dizininde (root) yer almalıdır. Yani https://www.siteadiniz.com/robots.txt adresinden erişilebilir olmalıdır. https://www.siteadiniz.com/blog/robots.txt gibi alt dizinlerde olursa arama motorları bunu göz ardı eder. FTP, cPanel Dosya Yöneticisi veya hosting paneliniz üzerinden kök dizine yükleme yapın.

Adım 6: Dosyayı Test Edin

Oluşturduğunuz robots.txt dosyasını yüklemeden önce mutlaka test edin. Google Search Console içindeki robots.txt Tester aracını kullanarak kurallarınızın beklediğiniz gibi çalışıp çalışmadığını kontrol edebilirsiniz. Ayrıca sitenize özel robots.txt kontrol araçları da mevcuttur.

Yaygın Hatalardan Kaçının

  • Disallow: / — Tüm siteyi engeller; yalnızca sitenizi tamamen arama motorlarından gizlemek istiyorsanız kullanın.
  • Yanlış yol yazımı — /wp-admin gibi yollar büyük/küçük harf duyarlı olabilir; sunucunuzun yapısına uygun yazın.
  • Çok fazla engel — Önemli içerik sayfalarını yanlışlıkla engellemeyin.

Robots.txt dosyanızı oluşturduktan sonra düzenli aralıklarla güncel tutun. Yeni eklenen admin paneli veya geçici sayfalar varsa kuralları buna göre güncelleyin. Unutmayın: Robots.txt bir talimat dosyasıdır; kötü niyetli botlar uymak zorunda değildir, ancak Google ve Bing gibi büyük arama motorları kurallarınıza saygı gösterir.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.