Next.js için Robots.txt ve Sitemap Yapılandırması

Next.js projelerinde robots.txt ve sitemap yönetimi App Router metadata API veya next-sitemap paketi ile yapılır. public/robots.txt statik dosyası kullanılabilir; dinamik içerik için metadata.robots tercih edilir. Bu rehberde tüm yöntemleri inceliyoruz.

Next.js 13+ App Router ile app/robots.ts veya app/robots.js dosyası oluşturarak robots.txt dinamik üretebilirsiniz. Aynı şekilde app/sitemap.ts ile sitemap oluşturulur.

Metadata API ile Robots

app/robots.ts dosyasında:

import { MetadataRoute } from 'next'
export default function robots(): MetadataRoute.Robots {
  return {
    rules: { userAgent: '*', allow: '/', disallow: '/api/', '/admin/' },
    sitemap: 'https://sitemapkontrol.com.tr/sitemap.xml',
  }
}

next-sitemap Paketi

Dinamik sayfa sayısı fazlaysa next-sitemap kullanın: npm i next-sitemap. next-sitemap.config.js oluşturup build sonrası sitemap üretin. package.json scripts:

"postbuild": "next-sitemap"

Site URL'inizi config'de doğru belirtin. Trailing slash politikasını Next.js yapılandırmasıyla uyumlu tutun. WWW vs non-WWW yönlendirmesi için middleware veya sunucu ayarlarını kontrol edin.

Robots.txt nedir ve sitemap.xml nedir sayfalarını inceleyin. Robots.txt'ye sitemap ekleme adımlarını uygulayın. Büyük siteler için sitemap index kullanımını değerlendirin.

Aracı Aç → /arac/
Bu araç kontrolleri tarayıcıda yapar; sonuçlar sunucu yapılandırmasına göre değişebilir. Kesin sonuçlar için sunucu loglarını ve Google Search Console verilerini de kontrol edin.