Türk SEM · SEO Aracı

What AI Sees: AI Tarayıcısı Testi

ChatGPT, Claude ve Perplexity'nin tarayıcıları JavaScript çalıştırmaz; sunucunuzun gönderdiği HTML'de ne varsa onu okur. Sayfanızın adresini girin. Bu tarayıcıların neyi göremediğini, robots.txt dosyanızın hangi AI tarayıcılarına izin verdiğini ve bunları nasıl düzelteceğinizi görün.

Sitenden otomatik çek

Sayfanızı gerçek bir web tarayıcısında bir kez açıyor ve AI tarayıcılarına giden ham HTML ile karşılaştırıyoruz. Sitenize ait başka hiçbir veriyi saklamıyoruz.

Nasıl Çalışır

  1. 1

    Sayfanızı bir kez açıyoruz

    Sayfanızı Chromium ile, yani gerçek bir web tarayıcısıyla yüklüyoruz. Aynı ziyaretten iki kopya alıyoruz: sunucunun ilk gönderdiği HTML ve JavaScript çalıştıktan sonra ortaya çıkan sayfa.

  2. 2

    İki kopyanın metnini karşılaştırıyoruz

    Yalnızca ikinci kopyada görünen, en az sekiz kelimelik her parçayı AI tarayıcılarının göremediği metin sayıyoruz. Puan, metninizin yüzde kaçının ham HTML'de, yani sunucunun ilk gönderdiği kopyada zaten bulunduğunu gösterir.

  3. 3

    robots.txt dosyanızı okuyoruz

    Şirketlerin resmî olarak belgelediği her AI tarayıcısını tek tek kontrol ediyor, işlerine göre ayırıyoruz: eğitim verisi toplayanlar, AI aramasını besleyenler ve kullanıcı isteğiyle sayfa açanlar.

  4. 4

    Kapıyı tarayıcıların adıyla çalıyoruz

    Güvenlik duvarınız ya da CDN'iniz AI tarayıcılarına ziyaretçiden farklı mı davranıyor? Bunu görmek için sayfayı önce sıradan bir web tarayıcısı olarak, sonra OpenAI, Anthropic ve Perplexity'nin altı AI tarayıcısının adıyla birer kez istiyoruz. robots.txt izin verse bile fark burada ortaya çıkar.

Sonuç Ne Anlama Gelir

Sonuç ekranındaki büyük rakam, metninizin ne kadarının AI tarayıcılarına ulaştığını gösterir.

%95 ve üzeri
Sayfanın tamamı AI tarayıcılarına ulaşıyor. JavaScript tarafında yapılacak bir şey yok.
%70 ile %94 arası
Asıl içerik okunuyor. Yorumlar ya da sekmeler gibi bazı bölümler JavaScript ile sonradan yükleniyor.
%25 ile %69 arası
Sayfanın önemli bir kısmı AI tarayıcılarına ulaşmıyor. Asıl metni sunucunun gönderdiği HTML'e taşıyın.
%25'in altı
JavaScript olmadan sayfa neredeyse boş. Bir AI asistanı için bu sayfa yok gibi.

JavaScript ve SEO: AI Tarayıcıları Neden Daha Az Görür

Vercel ve MERJ, Aralık 2024'te AI tarayıcılarının gerçek sitelerde nasıl davrandığını ölçtü. OpenAI, Anthropic, Meta ve Perplexity'ninkiler dahil büyük AI tarayıcılarının hiçbiri JavaScript çalıştırmadı (Vercel). Dosyaları indirenler var, orası doğru: ChatGPT isteklerinin %11,50'sinde, Claude %23,84'ünde JavaScript dosyası indiriyor. Ama dosya inse de çalışmıyor; betiklerinizin web tarayıcısında oluşturduğu metin AI tarayıcılarına hiç ulaşmıyor.

Google'ın durumu farklı. Googlebot bir sayfayı dizine eklemeden önce JavaScript'i çalıştırıyor (Google Search Central), Google AI Bakışı da bu dizinden besleniyor. Bu yüzden bir sayfa Google'da iyi sıralanırken ChatGPT'ye boş görünebiliyor.

Hangi AI Tarayıcısı Ne İş Yapar

robots.txt dosyasında her AI tarayıcısı ayrı ayrı yönetilir. Sık yapılan bir hata bu ayrımı bilmemekten çıkıyor: Eğitime veri vermek istemeyen site, şirketin bütün tarayıcılarını kapatıyor ve farkında olmadan o şirketin arama cevaplarından da çıkıyor.

OpenAI'ın üç ana tarayıcısı var. GPTBot model eğitimi için veri topluyor, OAI-SearchBot ChatGPT aramasını besliyor. ChatGPT-User ise kullanıcı ChatGPT'den bir sayfayı açmasını istediğinde çalışıyor. OpenAI'a göre OAI-SearchBot'u engelleyen siteler ChatGPT arama cevaplarında yer almıyor, yalnızca gezinme linki olarak çıkabiliyor (OpenAI). Yani yalnızca GPTBot'u engellerseniz ChatGPT aramasında kalırsınız; OAI-SearchBot'u da engellerseniz arama cevaplarından çıkarsınız.

Anthropic'te aynı üçlü ClaudeBot, Claude-SearchBot ve Claude-User adını taşıyor (Anthropic). Perplexity'de arama sonuçları için PerplexityBot, anlık istekler için Perplexity-User çalışıyor. Şirket, Perplexity-User'ın robots.txt kurallarına genellikle uymadığını kendisi söylüyor (Perplexity).

Google-Extended ise bir tarayıcı değil, robots.txt içinde kullanılan bir token. Sitenize hiç gelmiyor; yalnızca içeriğinizin Gemini'nin eğitiminde ve cevaplarına dayanak olarak kullanılıp kullanılamayacağını belirliyor. Google'a göre bu token'ın Google Arama'da yer almanıza da sıralamanıza da etkisi yok (Google).

robots.txt'e yazılan Content Signals (Cloudflare), Content-Usage (IETF taslağı) ve RSL lisans satırı (RSL) yalnız tercih bildirir; hiçbiri bağlayıcı değildir. Dosyanızda bu satırlardan biri varsa araç onu da gösterir.

Google'a bir sayfadan ne kadar metin alabileceğini max-snippet ile söylersiniz; nosnippet ise sayfayı AI Bakışı'na ve AI Modu'na doğrudan girdi olmaktan çıkarır (Google). Siteyi bu özelliklerden topluca çıkarmak için de 31 Ağustos 2026'dan beri Search Console'da, normal sıralamaya dokunmayan bir ayar var (Google).

Nasıl Düzeltilir

Eksik metin varsa onu sunucunun gönderdiği HTML'e koymanız gerekiyor. Bunun yolu sunucu tarafı render (SSR) ya da önceden render (prerender); güncel framework'lerin çoğu ikisini de destekliyor. İşe, arama yapanın sorusunu cevaplayan kısımlardan başlayın: başlıklar, ana metin, fiyatlar ve sık sorulan sorular.

Bir AI tarayıcısı yanlışlıkla engellenmişse testteki hazır kurallardan birini kullanın. Her kural, o roldeki resmî tarayıcıların tamamını içeriyor. Böylece eğitime veri vermeden AI aramasında kalabilirsiniz.

Erişim testi bir tarayıcının kapıdan çevrildiğini gösteriyorsa önce robots.txt'e değil, güvenlik duvarına ve CDN'e bakın. Cloudflare AI tarayıcılarını panelinden engelleyebilir; pay-per-crawl beta sürümünde onlardan ödeme bile isteyebilir (HTTP 402). Güvenlik eklentileri ve barındırma firmasının güvenlik duvarı da aynı şeyi robots.txt'te hiç iz bırakmadan yapabilir.

İçeriğin makinelerce okunabilmesi işin başı. Sonraki adım, AI asistanlarının sizi kaynak göstermesi; GEO (Generative Engine Optimization) ve AIO (yapay zekâ optimizasyonu) çalışmalarımız bunun için. Google'ın AI cevaplarını nasıl oluşturduğunu AI Bakışı rehberimizde anlattık.

Sık Sorulan Sorular

Sayfam Google'da düzgün görünüyor, bu testte neden boş?

Googlebot sayfayı dizine eklemeden önce JavaScript'i çalıştırır, bitmiş sayfayı görür. AI tarayıcıları ise ham HTML'de kalır. İçeriğiniz JavaScript ile geliyorsa ona yalnızca Google ulaşır.

ChatGPT sitemi okurken JavaScript çalıştırır mı?

Hayır. ChatGPT'nin tarayıcıları sunucunuzun gönderdiği HTML'i okur. JavaScript dosyalarınızı indirebilirler ama çalıştırmazlar. Betiklerinizin oluşturduğu metni bu yüzden göremezler.

ChatGPT aramasından düşmeden GPTBot'u nasıl engellerim?

robots.txt dosyanızda yalnızca GPTBot'u engelleyin; OAI-SearchBot'a ve ChatGPT-User'a izin verin. GPTBot yalnızca eğitim verisi toplar. Sizi ChatGPT arama cevaplarına taşıyan tarayıcı OAI-SearchBot'tur.

AI tarayıcılarını engellersem Google sıralamam düşer mi?

Hayır. Google-Extended'ı ya da AI tarayıcılarını engellemek Google Arama sıralamanızı değiştirmez; Google, Google-Extended'ın aramaya etkisi olmadığını söylüyor. Sıralamayı etkileyen tek şey Googlebot'un kendisini engellemek olur.

robots.txt AI tarayıcılarını kesin durdurur mu?

Hayır, kesin durdurmaz. robots.txt bir istek bildirir; uyup uymamak tarayıcının kendisine kalmış. Büyük AI tarayıcıları kurallara uyduklarını açıklıyor, ama Perplexity-User gibi kullanıcı adına sayfa açanlar uymayabilir.

llms.txt dosyası şart mı?

Şart değil. llms.txt, dil modellerine sitenizi kısaca tanıtmak için ortaya atılmış bir topluluk önerisi. Büyük AI şirketlerinin hiçbiri bu dosyayı kullandığını açıklamadı. Önce HTML'inizi ve robots.txt dosyanızı düzene sokun.

robots.txt izin verdiği hâlde Cloudflare AI tarayıcılarını neden engelliyor?

Önce Cloudflare panelinizdeki AI tarayıcı ayarına bakın; sebep çoğu zaman oradadır. Bu ayar robots.txt'ten bağımsız çalışır: robots.txt'te ne yazarsa yazsın AI tarayıcılarını engelleyebilir ya da doğrulama sayfasına gönderebilir. İzini sürmek için erişim testimizi kullanabilirsiniz; sayfanızı her tarayıcının adıyla ister ve gelen cevabı gösterir. Yalnız Cloudflare gerçek tarayıcıları geldikleri ağdan tanır, testimiz ise o ağdan gelmez. Bu yüzden testin sonucu kesin hüküm değil, bir ipucudur.

Google aramasında kalıp AI Bakışı'nda görünmemek mümkün mü?

Evet, iki yolu var. Önce yaygın bir yanlışı düzeltelim: Google-Extended bunu sağlamaz, yalnız Gemini'nin içeriğinizle eğitilmesini ve cevap verirken içeriğinize dayanmasını yönetir. Asıl yol, 31 Ağustos 2026'dan beri Search Console'da bulunan ayar: sitenizi AI Bakışı'ndan, AI Modu'ndan ve Discover'daki AI özelliklerinden çıkarır, normal arama sıralamanızı etkilemez. Sayfa bazında ise nosnippet kuralı içeriği AI Bakışı'na ve AI Modu'na doğrudan girdi olmaktan çıkarır; ama normal sonuçlardaki açıklama metnini de kaldırır.

robots.txt'teki Content-Signal, Content-Usage ve License satırları ne işe yarar?

İçeriğinizin nasıl kullanılmasını istediğinizi AI şirketlerine bildirir. Content-Signal Cloudflare'in biçimidir (search, ai-input, ai-train), Content-Usage bir IETF taslağından gelir (train-ai, ai-use, search), License ise bir RSL lisans dosyasını gösterir. Üçü de tercih beyanıdır ve hiçbir tarayıcıyı durdurmaz. Durdurmak için Disallow kuralı gerekir.

Kaynaklar