Magento için Robots.txt ve Sitemap Yapılandırması

Magento 2, güçlü e-ticaret altyapısı sunar; ancak robots.txt ve sitemap yapılandırması varsayılan olarak sınırlıdır. Bu rehberde Magento 2 robots.txt ayarları, XML sitemap oluşturma, parametreli URL'leri engelleme ve crawl budget optimizasyonu ele alınmaktadır. Büyük ürün kataloglarında çoklu sitemap yönetimi özellikle önemlidir.

Magento 2 Robots.txt

Magento 2 Admin Panel → Stores → Configuration → General → Design → Search Engine Robots bölümünden robots.txt ayarlanır. Özel robots.txt için "Custom instructions" alanı kullanılır. Örnek yapılandırma:

User-agent: *
Disallow: /errors/
Disallow: /downloader/
Disallow: /report/
Disallow: /cron/
Disallow: /checkout/
Disallow: /customer/
Disallow: /catalogsearch/
Disallow: /*?*dir=
Disallow: /*?*order=
Disallow: /*?*mode=
Allow: /
Sitemap: https://siteniz.com/sitemap.xml

/checkout/ ve /customer/ kullanıcı sayfalarını engeller. /*?*dir=, /*?*order= gibi filtre parametreleri parametreli URL engelleme ile crawl budget tasarrufu sağlar.

Sitemap Oluşturma

Magento 2 yerleşik sitemap özelliğine sahiptir: Marketing → Sitemaps. "Add Sitemap" ile sitemap oluşturup "Generate" butonuna tıklayın. URL path genellikle sitemap.xml olur. 50.000+ ürün için otomatik sitemap index oluşturulur. "Add Sitemap" sayfasında "Categories", "Products", "CMS Pages" ve "Images" seçeneklerini işaretleyin.

Yaygın Sorunlar

  • Robots.txt 500KB limiti: Binlerce ürün URL'si ile Magento robots.txt çok büyüyebilir. Robots.txt boyut limiti rehberimizde wildcard kullanımı önerilir.
  • Sitemap 404: Sitemap henüz oluşturulmamış veya cache sorunu varsa 404 alabilirsiniz. Sitemap 404 sayfamızı inceleyin.
  • Duplicate URL'ler: Canonical URL ve sitemap'teki URL'lerin tutarlı olması gerekir. HTTP/HTTPS karışıklığına dikkat edin; HTTP/HTTPS rehberimizi okuyun.

Sitemap Oluşturma İpuçları

Cron job ile sitemap periyodik güncellenir. bin/magento cron:run ile manuel tetikleyebilirsiniz. "Maximum No of URLs Per Sitemap File" değerini 50.000'in altında tutun. "Sitemap File Path" için sitemap.xml kullanın. Oluşturulan sitemap URL'sini robots.txt ve Google Search Console'a ekleyin. Store View bazında farklı sitemap'lar oluşturulabilir.

Robots.txt nedir ve crawl budget kavramlarını öğrenin. PrestaShop veya WordPress WooCommerce kullanıyorsanız platform rehberlerimize de göz atın. Magento sitenizin robots.txt ve sitemap durumunu Robots & Sitemap Kontrol Aracı ile test edin.

Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir.