Entscheiden Sie, welche KI-Crawler und Scraper Ihre Inhalte lesen
Suchmaschinen, KI-Crawler, Assistenten und Scraper hinter einem Browser lesen dieselben Artikel. Centinel zeigt, um welchen Client es sich handelt. Verlage lassen so den Googlebot zu und legen für jeden anderen Client fest, worauf er zugreifen darf.
Kostenlosen Audit anfordernDie robots.txt ist eine Bitte, keine Kontrolle
RFC 9309, der Standard für die robots.txt, stellt klar, dass ihre Regeln keine Zugangsberechtigung sind. Angegebene Crawler halten sich meist daran. Scraper, die sie ignorieren oder den Namen eines Crawlers kopieren, halten sich nicht daran. Manche Agenten, die eine Seite für einen Nutzer abrufen, wenden die robots.txt gar nicht an. OpenAI schreibt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten.
KI-Crawler und robots.txt im ÜberblickDrei Arten von Clients, drei Entscheidungen
KI-Crawler, mit und ohne Namen
Trainings- und Such-Crawler der KI-Anbieter nennen sich meist selbst. Andere Clients senden einen Browser-User-Agent oder den Namen eines bekannten Crawlers, der ihnen nicht gehört.
Scraper kopieren Archive und Abo-Inhalte
Scraper durchlaufen Artikelarchive und Abo-Seiten, um Volltexte zu kopieren, teils mit einem angemeldeten Konto und einem echten Browser.
Agenten, die für Nutzer lesen
KI-Assistenten und Browser-Agenten laden Seiten, wenn eine Person sie darum bittet. Das ist ein anderer Client als ein Massen-Crawler und eine andere Entscheidung.
Suche offen halten, alles andere nach Ihren Regeln
Angegebene Crawler prüfen
Centinel vergleicht die angegebene Identität eines Crawlers mit den Nachweisen, die sein Betreiber veröffentlicht, etwa IP-Bereiche oder DNS-Einträge. Der echte Googlebot indexiert weiter. Ein kopierter Name erhält kein automatisches Vertrauen.
Crawler-IP prüfenEine Regel pro Crawler und Bereich
Unterstützte Integrationen wenden die konfigurierte Reaktion auf Identität und angefragte Ressource an: zulassen, drosseln, herausfordern oder blockieren. So bleibt die Suche offen, während Sie KI-Trainings-Crawler blockieren oder nur für einzelne Bereiche zulassen.
KI-Crawler steuernBelege gegen getarntes Scraping
In unterstützten Browser-Integrationen bewertet Centinel auf Artikel- und Archivseiten Anfrage- und Browser-Signale und nicht nur den User-Agent. Einen Scraper, der sich als Leser ausgibt, können Sie drosseln oder herausfordern, ohne Abonnenten denselben Check zuzumuten.
Wie Bot-Erkennung funktioniert
Auf der typischen Seite war jede siebte Googlebot-Anfrage gefälscht
Wir haben von Ende Juni bis zum 21. September 2026 jede Anfrage geprüft, die sich auf den von Centinel geschützten Nachrichten- und Medienseiten als bekannter Crawler ausgab. Auf der typischen Seite kam jede siebte Googlebot-Anfrage nicht von Google. Bei GPTBot waren es 84 %, bei Claude-SearchBot und Perplexity-User 99 %.
Zur Studie über gefälschte CrawlerHäufige Fragen von Verlagen
- Wie schließen Verlage KI-Crawler aus, ohne aus der Google-Suche zu fallen?
- Schließen Sie die KI-Crawler namentlich in der robots.txt aus und lassen Sie Googlebot zu. Laut Google steuert das Token Google-Extended die Nutzung von Inhalten für Gemini und hat keinen Einfluss auf die Aufnahme in die Google-Suche. Auch andere KI-Anbieter veröffentlichen getrennte Namen für Trainings- und Such-Crawler.
- Halten sich KI-Crawler an die robots.txt?
- Die angegebenen Crawler der großen KI-Anbieter geben an, die robots.txt zu beachten. Scraper, die ihre Identität verbergen, beachten sie nicht. Agenten, die eine Seite für einen Nutzer abrufen, wenden sie möglicherweise nicht an. Die robots.txt ist eine Bitte. Durchsetzen lässt sich eine Regel nur auf dem Server.
- Wie unterscheide ich einen echten GPTBot von einem gefälschten?
- Prüfen Sie die Anfrage gegen die Nachweise des Betreibers, etwa die IP-Bereiche, die OpenAI für GPTBot veröffentlicht. Eine Anfrage mit diesem Namen von einer Adresse außerhalb dieser Bereiche ist kein GPTBot, egal was im User-Agent steht. Auf der typischen Nachrichtenseite in unserer Studie fielen 84 % der Anfragen im Namen von GPTBot durch diese Prüfung.
- Lassen sich Artikel hinter der Paywall trotzdem scrapen?
- Ja. Ein Scraper kann sich mit einem bezahlten Konto anmelden und Seiten in einem echten Browser lesen. Die Paywall allein hält ihn nicht auf. Aufschlussreich ist das Verhalten der Sitzung: wie schnell sie liest, wie viele Seiten sie abruft und ob der Browser automatisiert ist.
Sehen Sie, welche Bots Ihre Inhalte abrufen
Der kostenlose Audit zeigt, welche getesteten Scraping-Werkzeuge Ihre Seiten abrufen können. Sie erhalten einen manuell geprüften Bericht mit betroffenen Seiten und möglichen Maßnahmen. Eine Installation ist nicht nötig.