Türk SEM

Türk SEM · SEO Aracı

What AI Sees: AI Tarayıcısı Testi

ChatGPT, Claude ve Perplexity'nin tarayıcıları JavaScript çalıştırmaz; sunucunuzun gönderdiği HTML'de ne varsa onu okur. Sayfanızın adresini girin. Bu tarayıcıların neyi göremediğini, robots.txt dosyanızın hangi AI tarayıcılarına izin verdiğini ve bunları nasıl düzelteceğinizi görün.

Sitenden otomatik çek

Sayfanızı gerçek bir web tarayıcısında bir kez açıyor ve AI tarayıcılarına giden ham HTML ile karşılaştırıyoruz. Sitenize ait başka hiçbir veriyi saklamıyoruz.

Nasıl Çalışır

  1. 1

    Sayfanızı bir kez açıyoruz

    Sayfanızı Chromium ile, yani gerçek bir web tarayıcısıyla yüklüyoruz. Aynı ziyaretten iki kopya alıyoruz: sunucunun ilk gönderdiği HTML ve JavaScript çalıştıktan sonra ortaya çıkan sayfa.

  2. 2

    İki kopyanın metnini karşılaştırıyoruz

    Yalnızca ikinci kopyada görünen, en az sekiz kelimelik her parçayı AI tarayıcılarının göremediği metin sayıyoruz. Puan, metninizin yüzde kaçının ham HTML'de, yani sunucunun ilk gönderdiği kopyada zaten bulunduğunu gösterir.

  3. 3

    robots.txt dosyanızı okuyoruz

    Şirketlerin resmî olarak belgelediği her AI tarayıcısını tek tek kontrol ediyor, işlerine göre ayırıyoruz: eğitim verisi toplayanlar, AI aramasını besleyenler ve kullanıcı isteğiyle sayfa açanlar.

Sonuç Ne Anlama Gelir

Sonuç ekranındaki büyük rakam, metninizin ne kadarının AI tarayıcılarına ulaştığını gösterir.

%95 ve üzeri
Sayfanın tamamı AI tarayıcılarına ulaşıyor. JavaScript tarafında yapılacak bir şey yok.
%70 ile %94 arası
Asıl içerik okunuyor. Yorumlar ya da sekmeler gibi bazı bölümler JavaScript ile sonradan yükleniyor.
%25 ile %69 arası
Sayfanın önemli bir kısmı AI tarayıcılarına ulaşmıyor. Asıl metni sunucunun gönderdiği HTML'e taşıyın.
%25'in altı
JavaScript olmadan sayfa neredeyse boş. Bir AI asistanı için bu sayfa yok gibi.

JavaScript ve SEO: AI Tarayıcıları Neden Daha Az Görür

Vercel ve MERJ, Aralık 2024'te AI tarayıcılarının gerçek sitelerde nasıl davrandığını ölçtü. OpenAI, Anthropic, Meta ve Perplexity'ninkiler dahil büyük AI tarayıcılarının hiçbiri JavaScript çalıştırmadı (Vercel). Dosyaları indirenler var, orası doğru: ChatGPT isteklerinin %11,50'sinde, Claude %23,84'ünde JavaScript dosyası indiriyor. Ama dosya inse de çalışmıyor; betiklerinizin web tarayıcısında oluşturduğu metin AI tarayıcılarına hiç ulaşmıyor.

Google'ın durumu farklı. Googlebot bir sayfayı dizine eklemeden önce JavaScript'i çalıştırıyor (Google Search Central), Google AI Bakışı da bu dizinden besleniyor. Bu yüzden bir sayfa Google'da iyi sıralanırken ChatGPT'ye boş görünebiliyor.

Hangi AI Tarayıcısı Ne İş Yapar

robots.txt dosyasında her AI tarayıcısı ayrı ayrı yönetilir. Sık yapılan bir hata bu ayrımı bilmemekten çıkıyor: Eğitime veri vermek istemeyen site, şirketin bütün tarayıcılarını kapatıyor ve farkında olmadan o şirketin arama cevaplarından da çıkıyor.

OpenAI'nin üç tarayıcısı var. GPTBot model eğitimi için veri topluyor, OAI-SearchBot ChatGPT aramasını besliyor. ChatGPT-User ise kullanıcı ChatGPT'den bir sayfayı açmasını istediğinde çalışıyor. OpenAI'ye göre OAI-SearchBot'u engelleyen siteler ChatGPT arama cevaplarında yer almıyor, yalnızca gezinme linki olarak çıkabiliyor (OpenAI). Yani yalnızca GPTBot'u engellerseniz ChatGPT aramasında kalırsınız; OAI-SearchBot'u da engellerseniz arama cevaplarından çıkarsınız.

Anthropic'te aynı üçlü ClaudeBot, Claude-SearchBot ve Claude-User adını taşıyor (Anthropic). Perplexity'de arama sonuçları için PerplexityBot, anlık istekler için Perplexity-User çalışıyor. Şirket, Perplexity-User'ın robots.txt kurallarına genellikle uymadığını kendisi söylüyor (Perplexity).

Google-Extended ise bir tarayıcı değil, robots.txt içinde kullanılan bir token. Sitenize hiç gelmiyor; yalnızca içeriğinizin Gemini'nin eğitiminde ve cevaplarına dayanak olarak kullanılıp kullanılamayacağını belirliyor. Google'a göre bu token'ın Google Arama'da yer almanıza da sıralamanıza da etkisi yok (Google).

Nasıl Düzeltilir

Eksik metin varsa onu sunucunun gönderdiği HTML'e koymanız gerekiyor. Bunun yolu sunucu tarafı render (SSR) ya da önceden render (prerender); güncel framework'lerin çoğu ikisini de destekliyor. İşe, arama yapanın sorusunu cevaplayan kısımlardan başlayın: başlıklar, ana metin, fiyatlar ve sık sorulan sorular.

Bir AI tarayıcısı yanlışlıkla engellenmişse testteki hazır kurallardan birini kullanın. Her kural, o roldeki resmî tarayıcıların tamamını içeriyor. Böylece eğitime veri vermeden AI aramasında kalabilirsiniz.

İçeriğin makinelerce okunabilmesi işin başı. Sonraki adım, AI asistanlarının sizi kaynak göstermesi; GEO (Generative Engine Optimization) ve AIO (yapay zekâ optimizasyonu) çalışmalarımız bunun için. Google'ın AI cevaplarını nasıl oluşturduğunu AI Bakışı rehberimizde anlattık.

Sık Sorulan Sorular

Sayfam Google'da düzgün görünüyor, bu testte neden boş?

Googlebot sayfayı dizine eklemeden önce JavaScript'i çalıştırır, bitmiş sayfayı görür. AI tarayıcıları ise ham HTML'de kalır. İçeriğiniz JavaScript ile geliyorsa ona yalnızca Google ulaşır.

ChatGPT sitemi okurken JavaScript çalıştırır mı?

Hayır. ChatGPT'nin tarayıcıları sunucunuzun gönderdiği HTML'i okur. JavaScript dosyalarınızı indirebilirler ama çalıştırmazlar. Betiklerinizin oluşturduğu metni bu yüzden göremezler.

ChatGPT aramasından düşmeden GPTBot'u nasıl engellerim?

robots.txt dosyanızda yalnızca GPTBot'u engelleyin; OAI-SearchBot'a ve ChatGPT-User'a izin verin. GPTBot yalnızca eğitim verisi toplar. Sizi ChatGPT arama cevaplarına taşıyan tarayıcı OAI-SearchBot'tur.

AI tarayıcılarını engellersem Google sıralamam düşer mi?

Hayır. Google-Extended'ı ya da AI tarayıcılarını engellemek Google Arama sıralamanızı değiştirmez; Google, Google-Extended'ın aramaya etkisi olmadığını söylüyor. Sıralamayı etkileyen tek şey Googlebot'un kendisini engellemek olur.

robots.txt AI tarayıcılarını kesin durdurur mu?

Hayır, kesin durdurmaz. robots.txt bir istek bildirir; uyup uymamak tarayıcının kendisine kalmış. Büyük AI tarayıcıları kurallara uyduklarını açıklıyor, ama Perplexity-User gibi kullanıcı adına sayfa açanlar uymayabilir.

llms.txt dosyası şart mı?

Şart değil. llms.txt, dil modellerine sitenizi kısaca tanıtmak için ortaya atılmış bir topluluk önerisi. Büyük AI şirketlerinin hiçbiri bu dosyayı kullandığını açıklamadı. Önce HTML'inizi ve robots.txt dosyanızı düzene sokun.

Kaynaklar