Zum Inhalt springen
Centinel
Menü
Kostenlosen Audit anfordern

Ist diese Anfrage wirklich Googlebot?

Einen User-Agent kann jeder senden. Fügen Sie eine IP-Adresse aus Ihren Logs ein. Diese Seite prüft sie gegen das, was die Betreiber selbst veröffentlichen.

Mit User-Agent zeigt die Prüfung zusätzlich, ob die Adresse zur Angabe im Header passt.

Die Detailangaben im Ergebnis stammen direkt aus der Prüfung und sind auf Englisch.

So funktioniert die Prüfung

Es gibt zwei Verfahren, und jeder Betreiber dokumentiert eines davon.

Reverse-DNS mit Gegenprobe

Eine Reverse-DNS-Abfrage macht aus der IP-Adresse einen Hostnamen. Liegt der Hostname unter einer Domain des Betreibers, löst eine zweite Abfrage (Forward-DNS) ihn wieder auf. Sie muss die Ausgangsadresse liefern. Auf diesen zweiten Schritt kommt es an. Einen Reverse-DNS-Eintrag, der Googlebot behauptet, kann jeder anlegen. Nur der Betreiber, dem die Domain gehört, kann dafür sorgen, dass die Forward-Abfrage die Adresse liefert.

Diese Prüfung gilt für Google. Die Hostnamen ihrer Crawler enden auf googlebot.com, google.com.

Veröffentlichte IP-Bereiche

Betreiber, deren Crawler keinen Reverse-DNS-Eintrag haben, veröffentlichen stattdessen eine maschinenlesbare Liste der Adressen, von denen sie crawlen. Die Prüfung lädt diese Listen und testet, ob die Adresse darin liegt.

Was ein Ergebnis aussagt und was nicht

Ein Treffer bedeutet: Die Angaben des Betreibers bestätigen die IP-Adresse. Er sagt nichts darüber aus, ob die Anfrage erwünscht war, ob sie Ihre robots.txt gelesen hat oder was sie danach getan hat.

Ein fehlender Treffer sagt wenig aus. Die meisten IP-Adressen im Internet gehören keinem Betreiber auf dieser Liste. Das ist der Normalfall. Handeln sollten Sie bei einem Widerspruch: Ein Header nennt einen Betreiber, doch dessen Angaben bestätigen die Adresse nicht.

Eine bestätigte Identität ist keine Erlaubnis. Einen geprüften Crawler können Sie für einen Pfad zulassen oder blockieren. Wie Sie daraus eine Regel machen, lesen Sie im Überblick zu KI-Crawlern und robots.txt. Wie häufig Crawler-Namen gefälscht werden, zeigt unsere Studie.

Welche Quellen geprüft werden

Jede Quelle stammt vom Betreiber selbst. Keine ist eine Centinel-Liste. Sie können jedes Ergebnis gegen dieselbe Quelle prüfen.

Bingbot fehlt. Die Seite von Microsoft zur Crawler-Prüfung ließ sich bei der Entwicklung dieses Werkzeugs nicht laden. Eine ungeprüfte Regel ist in einem Prüfwerkzeug schlimmer als keine.