Sehen Sie die Bots, die wie echte Besucher aussehen
Centinel erkennt automatisierten Traffic, prüft, ob ein Crawler wirklich der ist, der er vorgibt zu sein, und wendet Ihre Regeln an. Suchmaschinen behalten ihren Zugang. Für getarnte Scraper und gefälschte Crawler gilt Ihre Regel.
Kostenlosen Audit anfordernKostenloser Audit
Wir testen, welche Scraping-Werkzeuge Ihre Seiten abrufen können, und schicken Ihnen einen manuell geprüften Bericht. Ohne Installation und ohne Kosten.
Nicht jeder Bot verdient dieselbe Antwort
Geprüfte Crawler
Googlebot und andere Suchmaschinen-Crawler sollen Ihre Seiten weiter indexieren. Centinel prüft, ob eine Anfrage wirklich vom genannten Betreiber stammt.
Crawler-IP prüfenKI-Crawler und Agenten
GPTBot, ClaudeBot, PerplexityBot und Assistenten, die eine Seite für einen Nutzer abrufen, sind unterschiedliche Clients. Jeder braucht eine eigene Regel.
KI-Crawler steuernGetarnte Scraper
Manche Scraper steuern echte Browser, wechseln ihre IP-Adressen und verteilen Anfragen über lange Sitzungen. Eine IP-Regel allein erfasst sie selten.
Wie Bot-Erkennung funktioniertGefälschte Crawler-Namen
Jeder kann Googlebot in einen User-Agent schreiben. Auf der typischen Nachrichtenseite in unserer Studie war jede siebte Anfrage im Namen von Googlebot gefälscht.
Zur Studie
Vier Schritte pro Anfrage
01
Die Anfrage erreicht Ihre Infrastruktur
Ihr CDN, Reverse Proxy oder Ihre Anwendung nimmt die Anfrage dort an, wo heute schon Zugriffsentscheidungen fallen.
02
Centinel prüft die Identität
Centinel gleicht einen angegebenen Crawler-Namen mit den Nachweisen des Betreibers ab. Der User-Agent allein gilt nicht als Beleg.
03
Centinel bewertet Automatisierung
Verbindungs-, Anfrage-, Browser- und Verhaltenssignale zeigen, ob ein Client nur wie ein normaler Besucher aussieht.
04
Ihre Regel entscheidet
Je nach Ressource beobachtet Centinel die Anfrage, lässt sie zu, drosselt sie, fordert sie heraus oder blockiert sie.
Wenn Ihre Artikel das Ziel sind
Suchmaschinen, KI-Crawler, Assistenten und Scraper lesen dieselben Artikel. Die robots.txt ist eine Bitte an Crawler und setzt nichts durch. Centinel zeigt, um welchen Client es sich handelt. So halten Sie die Suche offen und legen für jeden anderen Client fest, worauf er zugreifen darf.
Lösung für Medien und VerlageHäufige Fragen
- Was macht Centinel?
- Centinel erkennt automatisierten Traffic auf Websites und Anwendungen, prüft angegebene Crawler-Identitäten und wendet Ihre Zugriffsregeln an. Suchmaschinen und zugelassene Crawler behalten ihren Zugang. Für getarnte Scraper und gefälschte Crawler gilt Ihre Regel.
- Muss ich mein CDN oder meine WAF ersetzen?
- Nein. Centinel arbeitet neben Ihrem bestehenden Stack. Wo die Entscheidung durchgesetzt wird, hängt von der Integration ab.
- Bleibt meine Seite bei Google sichtbar?
- Ja, wenn Ihre Regel den geprüften Googlebot zulässt. Centinel gleicht jede Anfrage mit den Nachweisen ab, die Google veröffentlicht, und trennt so den echten Googlebot von Anfragen, die nur seinen Namen tragen.
- Gibt es die Seite auch auf Englisch?
- Ja. Die englische Website enthält zusätzlich die technische Dokumentation, Integrationsleitfäden und alle Fachartikel.
Sehen Sie, welche Bots Ihre Inhalte abrufen
Der kostenlose Audit zeigt, welche getesteten Scraping-Werkzeuge Ihre Seiten abrufen können. Sie erhalten einen manuell geprüften Bericht mit betroffenen Seiten und möglichen Maßnahmen. Eine Installation ist nicht nötig.