Kostenloses Tool
Blockiert Ihre robots.txt KI-Crawler?
robots.txt unten einfügen. Wir prüfen sie gegen 15 bekannte KI-Crawler und zeigen, welche trotzdem noch zugreifen können.
So funktioniert es
Dieses Tool analysiert Ihre robots.txt-Datei und prüft jeden KI-Crawler-User-Agent gegen Ihre Regeln.
robots.txt einfügen
Kopieren Sie den Inhalt Ihrer robots.txt-Datei und fügen Sie ihn in das Textfeld ein.
Wir prüfen 15 KI-Crawler
Wir analysieren Ihre Anweisungen gegen GPTBot, ClaudeBot, Bytespider und 12 weitere bekannte KI-Crawler.
Sehen Sie Ihre Exposition
Sie sehen auf einen Blick, welche Crawler blockiert sind und welche noch durchkommen.