Sehen Sie die Bots, die wie echte Besucher aussehen
Centinel erkennt automatisierten Traffic, prüft, ob ein Crawler wirklich der ist, der er vorgibt zu sein, und setzt Ihre Regeln durch. Suchmaschinen behalten ihren Zugang, getarnte Scraper und gefälschte Crawler verlieren ihn.
Kostenlosen Audit anfordernKostenloser Audit
Wir testen, welche Scraping-Werkzeuge Ihre Seiten abrufen können, und schicken Ihnen einen manuell geprüften Bericht. Ohne Installation und ohne Kosten.
Nicht jeder Bot verdient dieselbe Antwort
Geprüfte Crawler
Googlebot und andere Suchmaschinen-Crawler sollen Ihre Seiten weiter indexieren. Zu prüfen ist, ob eine Anfrage wirklich vom genannten Betreiber stammt.
Crawler-IP prüfenKI-Crawler und Agenten
GPTBot, ClaudeBot, PerplexityBot und Assistenten, die eine Seite für einen Nutzer abrufen, sind unterschiedliche Clients. Jeder braucht eine eigene Regel.
KI-Crawler steuernGetarnte Scraper
Scraper nutzen echte Browser, wechseln ihre IP-Adressen und verteilen Anfragen über lange Sitzungen. Eine einzelne IP-Regel erfasst sie selten.
Wie Bot-Erkennung funktioniertGefälschte Crawler-Namen
Jeder kann Googlebot in einen User-Agent schreiben. Auf der typischen Nachrichtenseite in unserer Studie war jede siebte Anfrage im Namen von Googlebot gefälscht.
Zur Studie
Vier Schritte pro Anfrage
01
Die Anfrage erreicht Ihre Infrastruktur
Ihr CDN, Reverse Proxy oder Ihre Anwendung nimmt die Anfrage dort an, wo heute schon Zugriffsentscheidungen fallen.
02
Die Identität wird geprüft
Ein angegebener Crawler-Name wird mit den Nachweisen des Betreibers abgeglichen. Der User-Agent allein gilt nicht als Beleg.
03
Automatisierung wird bewertet
Verbindungs-, Anfrage-, Browser- und Verhaltenssignale zeigen, ob ein Client nur wie ein normaler Besucher aussieht.
04
Ihre Regel entscheidet
Je nach Ressource wird die Anfrage beobachtet, zugelassen, gedrosselt, herausgefordert oder blockiert.
Wenn Ihre Artikel das Ziel sind
Suchmaschinen, KI-Crawler, Assistenten und Scraper lesen dieselben Artikel. Die robots.txt formuliert Ihren Wunsch, setzt ihn aber nicht durch. Centinel zeigt, welcher Client welcher ist, damit Sie die Suche offen halten und jedem anderen Client genau den Zugriff geben, den Sie wollen.
Lösung für Medien und VerlageHäufige Fragen
- Was macht Centinel?
- Centinel erkennt automatisierten Traffic auf Websites und Anwendungen, prüft angegebene Crawler-Identitäten und wendet Ihre Zugriffsregeln an. Suchmaschinen und freigegebene Crawler behalten ihren Zugang, getarnte Scraper und gefälschte Crawler nicht.
- Muss ich mein CDN oder meine WAF ersetzen?
- Nein. Centinel arbeitet neben Ihrem bestehenden Stack. Wo die Entscheidung durchgesetzt wird, hängt von der Integration ab.
- Bleibt meine Seite bei Google sichtbar?
- Ja, wenn Ihre Regel den geprüften Googlebot zulässt. Centinel unterscheidet den echten Googlebot anhand der von Google veröffentlichten Nachweise von Anfragen, die seinen Namen nur verwenden.
- Gibt es die Seite auch auf Englisch?
- Ja. Die englische Website enthält zusätzlich die technische Dokumentation, Integrationsleitfäden und alle Fachartikel.
Sehen Sie, welche Bots Ihre Inhalte abrufen
Der kostenlose Audit zeigt, welche getesteten Scraping-Werkzeuge Ihre Seiten abrufen können. Sie erhalten einen manuell geprüften Bericht mit betroffenen Seiten und möglichen Maßnahmen. Eine Installation ist nicht nötig.