Zum Inhalt springen
Centinel
Menü
Kostenlosen Audit anfordern

Ist diese Anfrage wirklich Googlebot?

Einen User-Agent kann jeder senden. Fügen Sie eine Adresse aus Ihren Logs ein. Diese Seite prüft sie gegen das, was die Betreiber selbst veröffentlichen.

Mit User-Agent zeigt die Prüfung zusätzlich, ob die Adresse zur Angabe im Header passt.

Die Detailangaben im Ergebnis stammen direkt aus der Prüfung und sind auf Englisch.

So funktioniert die Prüfung

Es gibt zwei Verfahren, und jeder Betreiber dokumentiert eines davon.

Reverse-DNS mit Gegenprobe

Eine Rückwärtsabfrage macht aus der Adresse einen Hostnamen. Liegt dieser Hostname unter einer Domain des Betreibers, löst eine zweite Abfrage ihn wieder auf und muss die Ausgangsadresse liefern. Auf diesen zweiten Schritt kommt es an. Einen Reverse-Eintrag, der Googlebot behauptet, kann jeder anlegen. Nur der echte Inhaber der Adresse kann dafür sorgen, dass die Vorwärtsabfrage übereinstimmt.

Genutzt für Google, deren Crawler unter googlebot.com, google.com aufgelöst werden.

Veröffentlichte IP-Bereiche

Betreiber, deren Crawler keinen Reverse-DNS-Eintrag haben, veröffentlichen stattdessen eine maschinenlesbare Liste der Adressen, von denen sie crawlen. Die Prüfung lädt diese Listen und testet, ob die Adresse darin liegt.

Was ein Ergebnis aussagt und was nicht

Ein Treffer heißt: Die eigenen Angaben des Betreibers erklären die Adresse. Er sagt nichts darüber, ob die Anfrage erwünscht war, ob sie Ihre robots.txt gelesen hat oder was sie danach getan hat.

Kein Treffer sagt weniger aus, als es scheint. Die meisten Adressen im Internet gehören niemandem auf dieser Liste, und das ist der Normalfall, kein Befund. Handeln sollten Sie beim Widerspruch: ein Header, der einen Betreiber nennt, dessen eigene Angaben ihn nicht bestätigen.

Eine Identität ist auch keine Erlaubnis. Auch einen geprüften Crawler können Sie auf einer Route zulassen oder nicht. Wie Sie daraus eine Regel machen, lesen Sie im Überblick zu KI-Crawlern und robots.txt. Wie häufig Crawler-Namen gefälscht werden, zeigt unsere Studie.

Welche Quellen geprüft werden

Jede Quelle stammt vom Betreiber selbst. Keine davon ist eine Centinel-Liste, Sie können also jedes Ergebnis gegen dieselbe Datei prüfen.

Bingbot fehlt. Die Verifizierungsseite von Microsoft ließ sich beim Bau dieses Werkzeugs nicht laden, und eine ungeprüfte Regel ist in einem Prüfwerkzeug schlimmer als gar keine.