limen
Gratis testen
Ich sehe diese Besucher seit Jahren kommen. Sie klopfen, sie lesen, sie gehen — und was sie mitnehmen, wird morgen die Antwort, die jemand über dich bekommt. Sie können nicht klingeln und nichts nachfragen. Was deine Seite sagt, wenn sie vorbeikommen, ist dein ganzer Teil des Gesprächs.
— Janus, an der Schwelle
Glossar

KI-Crawler

Ein KI-Crawler (AI Crawler) ist ein Stück Software, das ein Such- oder KI-Unternehmen aussendet, um Webseiten automatisch zu lesen. Er nennt beim Eintreffen seinen Namen — GPTBot gehört OpenAI, ClaudeBot Anthropic, PerplexityBot Perplexity, Google-Extended den KI-Produkten von Google — und arbeitet sich Seite für Seite durchs Web, speichert, was er findet, damit das System dahinter später Fragen beantworten kann. Er ist der Grund, warum ein Assistent überhaupt etwas über dein Unternehmen sagen kann.

Es lohnt sich, genau zu sagen, was ein Crawler nicht ist. Er ist kein Mensch, und er surft nicht. Er scrollt nicht, er wartet nicht auf Animationen, er klickt selten und sucht nichts, was schwer erreichbar ist. Er fordert eine Seite an, nimmt den Text, der zurückkommt, und zieht weiter. Alles, was ein KI-Assistent je von deiner eigenen Website über dich weiss, ist das, was diese eine schlichte Lesung überstanden hat.

Crawler können abgewiesen werden, und meistens geschieht das aus Versehen. Eine Zeile in der robots.txt, eine Firewall-Regel, eine Sicherheitseinstellung im Hosting-Paket, ein Plugin, das aus ganz anderen Gründen installiert wurde — jedes davon kann den Besuch verweigern. Weil diese Abweisung still ist und im normalen Browser unsichtbar bleibt, kann eine Website jahrelang für jeden Menschen tadellos lesbar und für die Maschinen völlig unbekannt sein. Nichts anderes, was du tust, zählt, solange der Besuch nicht erlaubt ist.

Das andere Scheitern ist subtiler: Der Crawler wird eingelassen und findet nichts, was mitzunehmen sich lohnt. Text, der in Bildern oder einem PDF eingeschlossen ist, eine Seite, die sich erst zusammensetzt, nachdem Code gelaufen ist, eine Startseite voller Adjektive, die nie klar sagt, was das Unternehmen tut und wo. Die Tür stand offen. Auf der anderen Seite war schlicht nichts lesbar.

Übersetzt ins Menschliche: ein Besucher, der einmal vorbeikommt, keine Fragen stellen kann und danach weitergibt, was er zu lesen bekam. Du kannst ihm nichts erklären, nichts richtigstellen, ihn nicht für dich einnehmen. Du bekommst eine schlichte Seite, schnell gelesen — und alles, was andere aus zweiter Hand über dich hören, stammt daraus.