AI SEO · · 8 dk okuma

ChatGPT ve Perplexity Sitenizi Nasıl Tarar? AI Crawler Rehberi

GPTBot, PerplexityBot ve ClaudeBot'un web sitenizi nasıl taradığını anlayın. robots.txt yapılandırması ile AI arama görünürlüğünüzü kontrol altına alın.

← Tüm Yazılar

AI crawler farkı

GPTBot ve benzeri botlar, içerik anlaşılabilirliği ve kaynak güvenine odaklanır. robots.txt izinleri tek başına yeterli değildir; sayfanın semantik kalitesi de belirleyicidir. Geleneksel arama botlarının aksine AI crawler'lar içeriği anlamlandırmak için daha derin bir analiz gerçekleştirir.

Minimum robots.txt konfigürasyonu

  • Genel tarayıcılar için açık izin tanımlayın
  • GPTBot, CCBot, PerplexityBot, ClaudeBot için explicit Allow: / ekleyin
  • Sitemap bildirimi yapın ve yalnızca gerçekten kısıtlanması gereken endpoint'leri disallow edin
  • llms.txt dosyası ile AI sistemlerine doğrudan rehberlik sağlayın

Sık yapılan hata

Form endpoint'leri veya JSON feed'leri gereksiz yere Disallow etmek, AI alıntılanabilirliğini olumsuz etkileyebilir. Ayrıca noindex etiketi taşıyan sayfaların AI motorları tarafından da dışlandığını unutmayın — yalnızca gerçekten gizlenmesi gereken içeriklere bu etiketi uygulayın.