robots.txt

robots.txt ist eine kleine Textdatei, die an der Eingangstür einer Website liegt, unter einer festen Adresse, die jeder automatisierte Besucher zu prüfen weiss: deine Domain, gefolgt von /robots.txt. Darin stehen ein paar Zeilen Anweisung, die nicht an Menschen gerichtet sind, sondern an Bots — die Crawler, die Suchmaschinen und KI-Assistenten losschicken, um das Web zu lesen. Die Datei nennt, zu wem sie spricht und was sie erlaubt: dieser Crawler darf überall hin, jener soll die Kassenseiten meiden, dieser ganze Bereich ist gesperrt. Sie ist die älteste und einfachste Art des Webs, die Bedingungen zu setzen, unter denen Maschinen eintreten dürfen.

Es lohnt sich, klar zu sagen, um welche Art von Anweisung es sich handelt. robots.txt ist eine Bitte, kein Schloss. Crawler, die sich anständig verhalten — jene der grossen Such- und KI-Firmen — lesen die Datei und halten sich daran. Ein Bot, der sich schlecht verhält, kann sie vollständig ignorieren, denn nichts hält ihn physisch auf; die Datei nennt nur eine Präferenz und vertraut darauf, dass der Besucher sie respektiert. robots.txt ist also das richtige Werkzeug, um seriöse Crawler zu lenken, und das falsche Werkzeug für Sicherheit. Was wirklich privat bleiben muss, braucht ein echtes Schloss, keinen höflichen Zettel an der Tür.

Für ein Unternehmen, das von KI gefunden werden will, wiegt der Fehler aus Versehen am schwersten. Eine einzige zu weit gefasste Zeile — eine Regel, die einen Ordner verbergen sollte und stattdessen die ganze Website sperrt, oder eine übrig gebliebene Anweisung aus der Zeit, als die Website im Aufbau war — kann jedem KI-Crawler still und leise sagen, er solle wegbleiben. Die Seite sieht für einen menschlichen Besucher perfekt aus, aber die Assistenten sehen sie nie, weil sie angeklopft, den Zettel gelesen haben und wieder gegangen sind. Weil die Datei beim normalen Surfen unsichtbar ist, kann so ein Fehler lange unbemerkt bleiben.

Menschlich übersetzt ist es ein Zettel an deiner Ladentür, für eine bestimmte Art von Besucher. Gut geschrieben winkt er die richtigen Leute herein und hält sie vom Lager fern. Unachtsam geschrieben kann er lauten: komm nie wieder — und die Besucher, die er abweist, sind genau jene, die dir heute Kunden schicken. Es kostet nichts, nachzusehen, was auf deinem Zettel wirklich steht, und das Nachsehen ist der ganze Punkt: die meisten Websites schauen nie nach und nehmen an, die Tür stehe offen, obwohl sie es nicht tut.