WordPress için Robots.txt ve Sitemap Rehberi

WordPress, varsayılan olarak basit bir robots.txt sunar; ancak SEO için Yoast SEO veya Rank Math eklentileriyle sitemap ve robots yapılandırması geliştirilebilir. Bu rehberde WordPress sitenizin robots.txt varsayılanlarını, Yoast sitemap ayarlarını ve wp-admin engelleme konusunu ele alıyoruz.

WordPress kurulumunda /robots.txt dosyası sunucuda fiziksel olarak bulunmaz; WordPress bunu dinamik üretir. Ayarlar → Okuma ekranında "Arama motorlarının bu siteyi indekslemesini engelle" seçeneği işaretliyse, siteniz tamamen engellenir. Bu seçeneği kapatmanız gerekir.

Varsayılan WordPress Robots.txt

WordPress'in oluşturduğu standart robots.txt aşağıdakine benzer:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Bu yapı, wp-admin klasörünü engellerken admin-ajax.php ile AJAX isteklerinin çalışmasına izin verir. Doğru bir başlangıçtır. Sitemap satırı eksikse mutlaka ekleyin.

Yoast SEO Sitemap ve Robots

Yoast SEO eklentisi etkinleştirildiğinde otomatik olarak XML sitemap oluşturur. Genellikle https://siteniz.com/sitemap_index.xml adresinde bulunur. Yoast ayarlarında Genel → Özellikler → XML sitemap'ları etkinleştirin. robots.txt'e sitemap ekleme seçeneği de mevcuttur.

Admin Panelini Engelleme

wp-admin, güvenlik ve kaynak tasarrufu için taranmamalıdır. Varsayılan WordPress kuralları bunu sağlar. Ek olarak wp-includes veya özel dizinleri engellemek isterseniz:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Sitemap: https://siteniz.com/sitemap_index.xml

Robots.txt nedir konusunda temel bilgi edindikten sonra, admin panelini engelleme rehberimizi inceleyin. Sitemap ayarları için sitemap.xml nedir sayfasına göz atabilirsiniz. Robots.txt'ye sitemap ekleme adımlarını da uygulamanız önemlidir.

Aracı Aç → /arac/
Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.