KI-Bots aussperren: Die wichtigsten robots.txt-Befehle 2025
Betreibst du ein Online-Geschäft oder Blog, durchsuchen Webcrawler von Firmen wie OpenAI deine Inhalte, um KI-Modelle zu trainieren – oft ohne deine Erlaubnis.
Das verletzt Urheberrechte und kann deine Wettbewerbsfähigkeit beeinträchtigen.
In diesem Artikel zeige ich dir, wie du mit der richtigen robots.txt deine Inhalte schützt.
KI Bots aussperren: Die robots.txt-Datei finden
Du willst KI Bots aussperren, um deine Daten zu schützen?
Also ich weiß genau dass viele Blogger gar nicht wissen wo ihre robots.txt überhaupt liegt... Kennst du das wenn du schon mal versucht hast deine robots.txt zu finden und einfach nicht weißt wo die Datei ist?
Die robots.txt liegt immer im Hauptverzeichnis deiner Website - also direkt unter deiner Domain. Du findest sie unter:
- www.deine-domain.de/robots.txt
- oder halt ohne www: deine-domain.de/robots.txt
Ein Freund von mir hat neulich stundenlang gesucht und dabei völlig übersehen dass die Datei manchmal gar nicht existiert. Dann bekommst du einfach eine 404-Fehlermeldung. Das ist eigentlich normal, wenn noch keine robots.txt angelegt wurde.
Weißt du, was ich meine? Du gibst einfach deine Domain plus "/robots.txt" in den Browser ein und schaust was passiert. Entweder siehst du den Inhalt der Datei oder eben eine Fehlermeldung.
Die robots.txt-Datei bearbeiten
Okay also hier wird's interessant... Die Bearbeitung hängt davon ab ob du WordPress nutzt oder nicht. Ich zeig dir beide Wege.
Mit WordPress:
WordPress macht das eigentlich ziemlich einfach. Du kannst Plugins wie "Yoast SEO" oder "RankMath" nutzen (ich empfehle übrigens RankMath - ist kostenlos und mega gut). Dort gehst du einfach in die SEO-Einstellungen und findest den Bereich "robots.txt".
Alternativ gibt's auch spezielle Plugins nur für robots.txt... aber ehrlich gesagt brauchst du das nicht wenn du schon ein SEO-Plugin hast.
Ohne WordPress:
Hier musst du ran an die Datei selbst. Du hast mehrere Möglichkeiten:
- Per FTP-Programm (FileZilla oder sowas)
- Über das Hosting-Panel deines Anbieters
- Mit einem einfachen Texteditor
Wichtig: Die Datei muss als "robots.txt" gespeichert werden - nicht als .doc oder .txt.txt oder so. Nur robots.txt, sonst funktioniert's nicht.
KI Bots aussperren: Achte darauf, dass du keine Leerzeichen am Anfang der Zeilen hast und verwende nur einfache Anführungszeichen, falls nötig. Die Syntax ist ziemlich pingelig...
Wichtige robots.txt-Befehle für 2025
Also die Grundbefehle sind eigentlich immer gleich geblieben, aber lass mich dir die wichtigsten erklären:
User-agent: Hier sagst du welcher Bot gemeint ist
Disallow: Das blockiert bestimmte Bereiche
Allow: Das erlaubt explizit bestimmte Bereiche (überschreibt Disallow)
Crawl-delay: Bestimmt wie lange Bots zwischen Anfragen warten sollen
Beispiel:
Disallow: /admin/
Allow: /admin/public/
Crawl-delay: 10
Das heißt konkret: Alle Bots sollen den /admin/ Bereich meiden, aber /admin/public/ ist okay. Und sie sollen 10 Sekunden zwischen den Anfragen warten.
Neulich hab ich gesehen, dass manche auch "Sitemap:" verwenden um die XML-Sitemap zu verlinken. Das ist auch 2025 noch sinnvoll.
KI-Bots identifizieren und blockieren
Kennst du das, wenn du merkst, dass deine Inhalte plötzlich überall auftauchen? Das liegt oft an KI-Bots die deine Website abgrasen ... dein Content wird geklaut und verbreitet, sehr übel, sehr übel ...
Hier sind die wichtigsten KI-Bots die du 2025 kennen solltest:
OpenAI Bots:
- GPTBot (der Hauptbot von OpenAI)
- ChatGPT-User (für ChatGPT Plus Nutzer)
- OAI-SearchBot (für SearchGPT)
Andere wichtige KI-Bots:
- Google-Extended (für Bard/Gemini)
- CCBot (Common Crawl - wird von vielen KI-Systemen genutzt)
- PerplexityBot (für Perplexity AI)
- ClaudeBot (Anthropic's Claude)
- Bingbot (Microsoft's Bing Chat)
Also ich finde es krass wie viele Bots mittlerweile unterwegs sind und alle KI Bots aussperren ist manchmal schwierig weil immer neue dazukommen ...
Die User-Agents findest du meist in den offiziellen Dokumentationen der Anbieter oder auf Seiten wie "What's My User Agent" - aber ehrlich gesagt ändert sich das ständig.
KI-Bots gezielt blockieren: Praxisbeispiele
Okay jetzt wird's praktisch! Hier zeig ich dir konkrete Beispiele die du direkt copy-pasten kannst.
Alle KI-Bots komplett blockieren:
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Das ist die Holzhammer-Methode. Funktioniert aber... wenn du wirklich gar nichts mit KI-Training zu tun haben willst.
Nur bestimmte Bereiche schützen:
User-agent: GPTBot
Disallow: /blog/
Disallow: /premium-content/
Allow: /
User-agent: ChatGPT-User
Disallow: /blog/
Allow: /
Hier sagst du: "Okay ihr könnt meine Website crawlen aber lasst die Finger von meinem Blog und Premium-Content."
Kombinationen (das mach ich oft):
Disallow: /
User-agent: Google-Extended
Disallow: /blog/
Disallow: /kurse/
Allow: /
User-agent: CCBot
Disallow: /premium/
Allow: /blog/
Allow: /
Das heißt konkret: GPTBot ist komplett gesperrt, Google-Extended darf alles außer Blog und Kurse, CCBot darf alles außer Premium-Bereich.
Weißt du was ich meine? Du kannst das richtig granular steuern je nachdem was dir wichtig ist.
KI Bots aussperren: Tipps & Best Practices für Contentersteller
Also hier muss ich ehrlich sein... das Blockieren von KI-Bots ist nicht das Allheilmittel. Es gibt ein paar Dinge die du beachten solltest:
Risiken:
- Manche Suchmaschinen nutzen KI-Features. Wenn du zu aggressiv blockierst könntest du deine Sichtbarkeit verschlechtern
- Nicht alle Bots halten sich an robots.txt (leider...)
- Du könntest potenzielle Reichweite verlieren
Was ich empfehle:
- Fang erstmal vorsichtig an - blockier nur die Bots die du wirklich nicht willst
- Überwach deine Rankings nach Änderungen
- Nutze zusätzlich Meta-Tags:
<meta name="robots" content="noai, noimageai"> - Denk über HTTP-Header nach (das ist aber schon fortgeschritten)
Eigentlich solltest du auch bedenken dass manche KI-Bots durchaus Traffic bringen können. Perplexity zum Beispiel verlinkt oft auf Quellen...
Man sollte es nicht glauben aber es ist wahr: Viele Website-Betreiber blockieren erstmal alles und wundern sich dann, warum der Traffic einbricht. Also sei nicht zu vorschnell.
Ein letzter Tipp: Teste deine robots.txt regelmäßig mit Tools wie der Google Search Console. Da siehst du ob alles funktioniert wie geplant.
Sorge also dafür dass du nicht aus Versehen wichtige Bereiche blockierst die eigentlich crawlbar sein sollten. Das passiert schneller als du denkst...
Was denkst du über das Blockieren von KI-Bots? Hast du schon Erfahrungen damit gemacht oder bist du noch unsicher? Lass es mich wissen und schreibe einen Kommentar!
P.S. Weitere Themen rund um KI findest du hier: KI-lernen - Methoden & Grundlagen
