Crawler treiben Ihre Serverkosten in die Höhe. Blockieren Sie die, die nicht zahlen.

Häufige Fragen

Wie viel Bandbreite verbrauchen KI-Crawler tatsächlich?

Genug, um eine Kostenposition zu sein. Cloudflare meldet KI-Training-Crawl-Traffic in sechs Monaten um 65 % gestiegen und KI-Agent-Crawling über 15-fach im Jahr 2025. Ein einzelner Publisher bei Centinel sparte 42.000 Euro CDN-Kosten pro Monat, nachdem er unautorisierte Crawler blockiert hatte. Auf der Rechnung ist der Posten unsichtbar, weil er gegen aggregiertes Egress läuft.

Geht beim Blockieren etwas auf meiner Seite kaputt?

Nicht bei richtiger Konfiguration. Verifizierte Suchmaschinen (Googlebot, Bingbot) und legitime API-Clients kommen über eine eigene Allowlist durch. Die Standardrichtlinie von Centinel blockt unverifizierte KI-Crawler, lässt aber alles durch, was Ihre Auffindbarkeit betrifft. Jede Richtlinie ist pro Crawler — Sie können erst beobachten und dann blockieren.

Wie schnell sehe ich Einsparungen?

Bandbreiten- und Compute-Einsparungen greifen am Tag der Aktivierung. CDN-Abrechnungszyklen variieren, aber die erste Rechnung nach dem Deployment zeigt typischerweise den Rückgang. Flowlane, ein B2B-SaaS auf Centinel, maß innerhalb weniger Wochen nach dem Rollout 78 % weniger Origin-Last und konnte seine Docs-Infrastruktur verkleinern.

Bremst Edge-Blocking echte Nutzer?

Nein. Die Erkennung läuft am Edge in unter 2 ms, deutlich unter der wahrnehmbaren Schwelle. Geblockte Anfragen erreichen Ihren Origin nicht, was Kapazität für Menschen freigibt. Der Netto-Effekt auf die p95-Antwortzeit legitimen Traffics ist typischerweise eine kleine Verbesserung, keine Verschlechterung.

Kann ich deckeln, was ich für Crawler-Schutz ausgebe?

Ja. Jeder Plan hat ein Request-Limit, das auf Ihren Traffic zugeschnitten ist. Anfragen über dem Limit laufen per Default durch, es gibt keine Überraschungs-Nachberechnung. Sie entscheiden, ob Sie die Stufe hochnehmen, den Überschuss rate-limiten oder den Durchlass akzeptieren. Wir stellen keine Spitze rückwirkend in Rechnung.