Bu içerik AIO hizmetimizin tamamlayıcısı olarak eklenmiştir.
Yapay zeka optimizasyonunda ilk altın kural, yapay zeka botlarının sitenize erişmesine izin vermektir. Diğer tüm çalışmalar ilk önce izin vermişseniz işe yarar. Cloudflare kullanıyorsanız, Cloudflare varsayılan olarak yapay zeka botlarının sitenize erişmesini engellemeye çalışır. (Çoğunlukla bunu başaramaz) Fakat; bu erişim engeli durumunda şu kesin olarak ortaya çıkıyor o da site içeriğinizi LLM’ler ile paylaşmak istemediğinizdir.
Peki Kimler İzin Vermeli?
Araştırma yapıyor, içerik üretiyor ve gelirinizi bu ürettiğiniz içeriklerle sağlıyorsanız ben yapay zeka sistemlerine izin vermemek sizin kişisel kararınızdır. Sizin önceliğiniz arama motorlarıdır ve arama motoru botları sitenizi indexlemeli ve aramalarda getirmelidir. Yapay zeka botları sitenize girerek bu bin bir zahmetle ürettiğinizi içeriği zahmetsiz şekilde alıp kullanmasına izin vermeyebilirsiniz. Bu durumda hem LLM.txt kullanmak ve engellemek hem de Cloudflare bot engelleme sistemini varsayılan olarak bırakmak sizin için çok daha mantıklıdır.
Firmalar Ne Yapmalı
Firmanıza ait web sitenizde içerikler ne kadar çok sistem tarafından kullanılırsa bu sizin ürün veya hizmetlerinize olan değeri artırma eğilimindedir. Bu sebeple içeriklerinizi LLM.txt ile engellemek veya Cloudflare ile yasaklamak mantıklı değildir. Eğer içerikleriniz doğru yapılandırıldı ise çoğunlukla yapay zeka sistemlerinin içeriklerinizi tüketmesi firmanızın işine gelecektir.
Adım 1 : Şimdi öncelikle Cloudflare sisteminize girin ve izin vermek istediğiniz web sitesini tıklayın.
Adım 2 : Sol kısımdaki “Security” linkine tıklayın.
Adım 3 : “Bot trafik” kısmına gelin.
Adım 4 : Düzenleme kalemine tıklayın.
Adım 5 : Do not block (allow crawlers)AI training bots will be allowed to scrape content kutucuğunu işaretleyin.
Kayıt ederek yapay zeka botlarının sitenize erişerek kayıt etmelerine izin vermiş olmaktasınız.
LLM.txt ne yazmalıdır?
User-agent: *
Allow: /Belli bir yapay zeka sisteminde firmanıza ait içeriklerin kullanılmasını istemiyorsanız LLM.txt kodunuz şöyle olmalıdır:
# Belirli bir botu engelle (Örn: AIBot)
User-agent: AIBot
Disallow: /
# Geri kalan tüm botlara izin ver
User-agent: *
Allow: /Bilindik Yapay Zeka Botlarının Adı
| Firma Adı | Bot Adı (User-Agent) |
| OpenAI (ChatGPT) | GPTBot, ChatGPT-User, OAI-Search |
| Google (Gemini/Vertex) | Google-Extended |
| Anthropic (Claude) | ClaudeBot, Claude-Web |
| Meta (Llama) | Meta-ExternalAgent, FacebookBot |
| Apple (Apple Intelligence) | Applebot-Extended |
| Perplexity AI | PerplexityBot |
| Common Crawl (Genel Eğitim Verisi) | CCBot |
| ByteDance (TikTok/Lark AI) | Bytespider |
| Amazon | Amazonbot |
| Microsoft (Copilot) | BingPreview, MSNBOT |
| Cohere | cohere-ai |
| You.com | YouBot |
| Diffbot | Diffbot |
| ImageSift (Görsel Modeller) | ImagesiftBot |
| PetalSearch (Huawei) | PetalBot |
Türk SEM Görüşümüz
LLM’ler büyüyor ve siz izin verseniz de vermeseniz de sitenizden veri toplayabilmektedir. İçerik üreterek gelir elde ediyorsanız bile kaynakça kısımlarından yine iyi ziyaretçi çekmeniz mümkün. Bu sebeple engellemek yerine daha çok içerisinde yer almaya çalışmak, oluşumunuz için daha sürdürülebilir olabilir. Nitekim siz engelleseniz bile bilgi sizin ürününüz olması muhtemel değildir. Çünkü; bilgi üretme işi genellikle akademik bir disiplindir. Eğer bilgiyi siz üretmiyor ve sadece bunu paylaşan iseniz sizin engellediğiniz içeriği yapay zeka sistemleri farklı kaynaklardan zaten ulaşacaktır.
Derenin akışının tersine kürek çekmek zahmetli ve sürdürülebilir olmayabilir.