Sitemap
Eine Sitemap ist eine Datei, die die Seiten einer Website auflistet und unter einer vorhersehbaren Adresse liegt — meist deine Domain gefolgt von /sitemap.xml. Sie ist für Maschinen geschrieben, nicht für Menschen: ein Verzeichnis, in einem Format, das Crawler auf einen Blick lesen können, über jede Seite, die du für besuchenswert hältst. Neben jeder Adresse kann sie vermerken, wann sich die Seite zuletzt geändert hat — das sagt einem wiederkehrenden Crawler, was seit seinem letzten Besuch neu ist. Wo robots.txt sagt, wer hereinkommen darf, sagt die Sitemap, was es zu sehen gibt.
Der Unterschied, den man im Kopf behalten sollte: Eine Sitemap ist eine Einladung, keine Garantie. Sie sagt einem Crawler, dass eine Seite existiert und seine Aufmerksamkeit verdient; sie verpflichtet niemanden, sie abzurufen, und sie macht aus einer dünnen Seite keine wertvolle. Crawler finden Seiten auch auf gewöhnlichem Weg, indem sie Links von einer Seite zur nächsten folgen. Die Sitemap zählt am meisten für die Seiten, die dieser Weg nicht erreicht — die eben veröffentlichten, die tief vergrabenen, die, auf die schlicht nichts verlinkt.
Für ein Unternehmen, das von KI gefunden werden will, liegt das Versagen meist in der Vernachlässigung, nicht im Fehlen. Eine Sitemap, die einmal beim Aufbau der Website erzeugt und seither nie neu erzeugt wurde, ist der Katalog eines Ladens, der sein Sortiment gewechselt hat: Sie listet Seiten, die es nicht mehr gibt, und lässt jede Seite aus, die seither dazugekommen ist. Der Crawler vertraut ihr, verschwendet seinen Besuch an die toten Einträge und erfährt von der neuen Arbeit überhaupt nichts. Für menschliche Besucher sieht nichts kaputt aus, weil kein Mensch die Datei je öffnet.
Die menschliche Entsprechung ist das Register hinten im Buch. Es macht das Buch nicht besser, und niemand liest es zum Vergnügen — aber ohne es muss jemand, der eine bestimmte Sache sucht, jede Seite durchblättern und hoffen. Maschinen, die deine Website lesen, sind genau in dieser Lage, und sie blättern nicht geduldig. Halte das Register aktuell, und sie finden, was du geschrieben hast. Lass es veralten, und sie antworten mit dem, worüber sie zufällig gestolpert sind.