Dieser Beitrag wurde als Ergänzung zu unserer Leistung AIO aufgenommen.
Die erste goldene Regel der KI-Optimierung lautet, KI-Bots auf Ihre Website zu lassen. Alles Übrige wirkt nur, wenn Sie zuvor die Erlaubnis erteilt haben. Wenn Sie Cloudflare nutzen, versucht Cloudflare von Haus aus zu verhindern, dass KI-Bots Ihre Website erreichen. (Meist gelingt es nicht) Steht diese Sperre jedoch, wird eines gewiss: dass Sie die Inhalte Ihrer Website nicht mit LLMs teilen wollen.
Wer sollte sie also zulassen?
Wenn Sie forschen, Inhalte erstellen und Ihre Einnahmen aus diesen Inhalten beziehen, dann ist es Ihre eigene Entscheidung, KI-Systemen keine Erlaubnis zu erteilen. Ihre erste Sorge sind Suchmaschinen, und Suchmaschinen-Bots sollen Ihre Website indexieren und in den Suchergebnissen zeigen. Sie müssen nicht zulassen, dass KI-Bots auf Ihre Website kommen und Inhalte, die Sie mit großer Mühe erstellt haben, ohne jede Mühe übernehmen und nutzen. In diesem Fall ist es für Sie weit sinnvoller, sowohl mit LLM.txt zu sperren als auch die Bot-Sperre von Cloudflare auf ihrer Voreinstellung zu belassen.
Was Unternehmen tun sollten
Je mehr Systeme die Inhalte Ihrer Unternehmenswebsite nutzen, desto eher steigt der Wert, der Ihren Produkten oder Leistungen beigemessen wird. Aus diesem Grund ist es nicht sinnvoll, Ihre Inhalte mit LLM.txt zu sperren oder mit Cloudflare zu verbieten. Sind Ihre Inhalte richtig aufgebaut, kommt es Ihrem Unternehmen meist zugute, wenn KI-Systeme sie aufnehmen.
Schritt 1: Gehen Sie zunächst in Ihr Cloudflare-Konto und klicken Sie auf die Website, die Sie freigeben möchten.
Schritt 2: Klicken Sie links auf den Punkt „Security“.
Schritt 3: Gehen Sie zum Abschnitt „Bot traffic“.
Schritt 4: Klicken Sie auf den Bearbeitungsstift.
Schritt 5: Setzen Sie das Häkchen bei Do not block (allow crawlers)AI training bots will be allowed to scrape content.
Mit dem Speichern haben Sie KI-Bots erlaubt, Ihre Website zu erreichen und zu erfassen.
Was sollte in LLM.txt stehen?
User-agent: *
Allow: /Möchten Sie nicht, dass die Inhalte Ihres Unternehmens in einem bestimmten KI-System verwendet werden, sollte Ihr LLM.txt-Code so aussehen:
# Einen bestimmten Bot sperren (z. B. AIBot)
User-agent: AIBot
Disallow: /
# Alle übrigen Bots zulassen
User-agent: *
Allow: /Die Namen der bekannten KI-Bots
| Unternehmen | Botname (User Agent) |
| OpenAI (ChatGPT) | GPTBot, ChatGPT-User, OAI-Search |
| Google (Gemini/Vertex) | Google-Extended |
| Anthropic (Claude) | ClaudeBot, Claude-Web |
| Meta (Llama) | Meta-ExternalAgent, FacebookBot |
| Apple (Apple Intelligence) | Applebot-Extended |
| Perplexity AI | PerplexityBot |
| Common Crawl (Allgemeine Trainingsdaten) | CCBot |
| ByteDance (TikTok/Lark AI) | Bytespider |
| Amazon | Amazonbot |
| Microsoft (Copilot) | BingPreview, MSNBOT |
| Cohere | cohere-ai |
| You.com | YouBot |
| Diffbot | Diffbot |
| ImageSift (Bildmodelle) | ImagesiftBot |
| PetalSearch (Huawei) | PetalBot |
Unsere Sicht bei Türk SEM
LLMs wachsen, und sie können Daten von Ihrer Website sammeln, ob Sie es erlauben oder nicht. Selbst wenn Sie mit dem Erstellen von Inhalten Einnahmen erzielen, ist es weiterhin möglich, über die Quellenangaben gute Besucherzahlen zu gewinnen. Deshalb kann es für Ihre Organisation nachhaltiger sein, dort vorkommen zu wollen, statt zu sperren. Denn selbst wenn Sie sperren, ist die Information vermutlich nicht Ihr Produkt. Information hervorzubringen ist gewöhnlich eine wissenschaftliche Disziplin. Wenn nicht Sie die Information hervorbringen, sondern sie nur weitergeben, erreichen KI-Systeme die gesperrten Inhalte ohnehin über andere Quellen.
Gegen die Strömung zu rudern ist mühsam und womöglich nicht nachhaltig.
