Crawl Hatalarını Düzeltme Rehberi
Crawl hataları, arama motoru örümceklerinin sitenizi tararken karşılaştığı sorunlardır. Bu hatalar indekslemeyi yavaşlatabilir, bazı sayfaların hiç keşfedilmemesine neden olabilir veya sunucu kaynaklarınızı gereksiz yere tüketebilir. Bu rehberde crawl hatalarını nasıl tespit edeceğinizi, yaygın nedenlerini ve pratik düzeltme yöntemlerini bulacaksınız.
Crawl Hatalarını Nerede Görürsünüz?
Google Search Console, crawl ile ilgili verilerin ana kaynağıdır. "Tarama" veya "Tarama istatistikleri" bölümünde sunucu hataları (5xx), bulunamayan sayfalar (404) ve diğer sorunlar listelenir. "Sayfalar" veya "Kapsam" raporunda da "Tarandı — şu an indekslenmedi", "Sunucu hatası" gibi durumlar görülebilir. Düzenli olarak bu raporları inceleyerek crawl sağlığınızı takip edebilirsiniz.
Yaygın Crawl Hata Türleri
1. 404 Bulunamadı (Not Found)
Örümcek var olmayan bir sayfaya yönlendirilmiş veya sayfa silinmiş olabilir. Kırık bağlantılar (broken links) sitemap'ta veya sayfa içinde bu duruma yol açar. Çözüm: Kırık bağlantıları düzeltin, silinen sayfalar için 301 redirect uygulayın veya sitemap'tan çıkarın. Gerekirse 410 Gone dönün ki motor sayfanın kalıcı olarak kaldırıldığını anlasın.
2. 500, 502, 503 Sunucu Hataları
5xx hataları sunucu tarafı kaynaklıdır. Geçici yoğunluk (503) veya kalıcı hata (500) olabilir. Çözüm: Hosting sağlayıcınızla iletişime geçin, sunucu loglarını inceleyin. Yoğunluk varsa crawl bütçesini azaltmak için robots.txt ile geçici olarak tarama hızını sınırlayabilirsiniz (Crawl-delay bazı motorlarda desteklenir ancak Google bunu resmen desteklemez).
3. Zaman Aşımı (Timeout)
Sayfa yanıt vermek için çok uzun sürüyorsa örümcek bağlantıyı keser. Çözüm: Sayfa yükleme süresini optimize edin, gereksiz sorguları azaltın, CDN veya önbellek kullanın.
4. Robots.txt Engeli
Robots.txt'te yanlış bir Disallow kuralı önemli sayfaları engelliyor olabilir. Çözüm: Robots.txt dosyanızı gözden geçirin; Google Search Console robots.txt Tester ile kontrol edin. Yanlış engellenen yolları kaldırın veya Allow ile istisna tanımlayın.
5. Yönlendirme Hataları
Çok uzun yönlendirme zincirleri (A → B → C → D) veya döngüler (A → B → A) crawl'ı zorlaştırır. Çözüm: Zinciri kısaltın; mümkünse doğrudan hedef sayfaya 301 yönlendirme yapın. Redirect zincirini üçten fazla adımla uzatmayın.
Hataları Tespit Etme Adımları
- Google Search Console'da "Tarama" veya "Hatalar" raporunu açın.
- Etkilenen URL'leri not alın; hangi hata türünde olduklarını inceleyin.
- Bu URL'leri tarayıcı veya cURL ile manuel test edin; sunucu yanıt kodunu kontrol edin.
- Sitemap ve robots.txt ile bu URL'lerin ilişkisini kontrol edin; yanlış listelenmiş mi?
- Sunucu erişim loglarında (access logs) bu URL'ler için ne döndüğünü inceleyin.
Düzeltme Sonrası Takip
Düzeltme yaptıktan sonra Google'ın bu sayfaları yeniden taraması zaman alır. "URL'yi İncelet" aracı ile öncelikli sayfaları manuel olarak taratmayı talep edebilirsiniz. Birkaç gün veya hafta içinde hata sayılarının düştüğünü kontrol edin. Kalıcı olarak kaldırılan sayfalar için URL Kaldırma aracını kullanabilirsiniz; ancak bu geçici bir çözümdür.
Özetle, crawl hatalarını düzenli izlemek ve hızlı müdahale etmek, sitenizin indeksleme sağlığı ve organik performansı için kritiktir. Robots.txt ve sitemap kontrolleri bu sürecin ilk adımı olarak kullanılabilir.