Drupal için Robots.txt ve Sitemap Rehberi
Drupal, kurumsal siteler için güçlü bir içerik yönetim sistemidir. Robots.txt ve sitemap yapılandırması için hem çekirdek özellikler hem de modüller kullanılır. Bu rehberde Drupal siteniz için doğru robots.txt yapılandırması, Simple Sitemap modülü ile XML sitemap oluşturma ve yaygın sorunların çözümü ele alınmaktadır.
Drupal Robots.txt Yapılandırması
Drupal varsayılan olarak robots.txt dosyası üretmez; ancak Robot Exclusion modülü veya .htaccess ile manuel ayar yapılabilir. Önerilen temel robots.txt:
User-agent: *
Disallow: /core/
Disallow: /admin/
Disallow: /user/
Disallow: /?q=admin/
Disallow: /?q=user/
Allow: /
Sitemap: https://siteniz.com/sitemap.xml
/core/ Drupal çekirdek dosyalarını, /admin/ yönetim panelini engeller. Allow: / ile diğer tüm sayfaların taranmasına izin verilir.
Robotstxt Modülü ile Dinamik Robots.txt
Drupal'da robotstxt veya Metatag modülü ile robots.txt dinamik oluşturulabilir. Modül ayarlarından sitemap URL'si ekleyin. Config → System → Robots.txt (veya modül ayarları) üzerinden Disallow kurallarını özelleştirebilirsiniz.
Simple Sitemap ile XML Sitemap
Simple Sitemap modülü Drupal için en popüler sitemap çözümüdür. Modülü kurduktan sonra Config → Search → Simple Sitemap ekranından içerik türlerini (sayfa, makale, ürün vb.) sitemap'e dahil edin. Varsayılan URL genellikle https://siteniz.com/sitemap.xml olur. Büyük sitelerde sitemap index otomatik oluşturulur; çoklu sitemap yönetimi rehberimize göz atın.
Yaygın Sorunlar ve Çözümleri
- Sitemap 404: Simple Sitemap etkin değilse veya URL alias yanlış yapılandırılmışsa sitemap bulunamaz. Sitemap 404 rehberimizi inceleyin.
- Boş sitemap: Hiç yayınlanmış içerik yoksa veya sitemap'e dahil edilecek içerik türü seçilmemişse sitemap boş kalır. Boş sitemap sorunu sayfamızda detay var.
- Encoding hatası: Türkçe karakterler için UTF-8 kullanıldığından emin olun. Sitemap encoding hatası rehberimizi okuyun.
Sitemap Oluşturma İpuçları
Simple Sitemap ayarlarında "Include images" seçeneği ile görsel sitemap'ları da ekleyebilirsiniz. "Cron" tetikleyicisi ile sitemap periyodik güncellenir. Manuel güncelleme için drush komutu: drush simplesitemap:generate. Sitemap URL'sini robots.txt ve Google Search Console'a eklemeyi unutmayın.
Robots.txt nedir ve Sitemap.xml nedir temel rehberlerimizle başlayın. SEO teknik kontrol listesi ile tüm teknik SEO adımlarını tamamlayın. Drupal sitenizin robots.txt ve sitemap durumunu Robots & Sitemap Kontrol Aracı ile hemen test edebilirsiniz.