Kontext-Engineering
Jedes Modell antwortet innerhalb einer festen Textspanne, dem Kontextfenster: die Anweisungen, die es bekommen hat, alles, was für es abgerufen wurde, das bisherige Gespräch und deine Frage — alles gleichzeitig gehalten. Kontext-Engineering ist die Arbeit, zu entscheiden, was diesen Platz belegt. Nicht wie höflich die Frage formuliert ist, sondern welche Dokumente geholt werden, welche wegfallen, wie viel vom Verlauf übrig bleibt und was am nächsten bei der Frage steht. Das Fenster ist ein Schreibtisch mit begrenztem Platz, und irgendjemand muss auswählen, was darauf landet.
Der häufigste Fehler ist Grosszügigkeit. Bei einem begrenzten Fenster ist der Reflex, es zu füllen: alles abrufen, was relevant sein könnte, das ganze Gespräch wiederholen, die komplette Seite mitgeben statt der Passage, die antwortet. Das verschlechtert Antworten auf eine Art, die schwer zu erkennen ist, weil ja nichts fehlt. Eine Tatsache, die in der Mitte eines langen Kontexts sitzt, wird weniger verlässlich genutzt als dieselbe Tatsache am Anfang oder am Ende — ein Effekt, der gut genug dokumentiert ist, um einen Namen zu haben. Kommen widersprüchliche Quellen dazu oder ein veraltetes Dokument neben einem aktuellen, hat das Modell keine Möglichkeit zu wissen, welchem es glauben soll.
Die Disziplin geht in die andere Richtung: weniger abrufen und besser auswählen. Hol die drei Passagen, die die Frage beantworten, statt der vierzehn Seiten, die sie erwähnen. Fass das Gespräch zusammen, statt es zu wiederholen. Stell das Material, auf das es ankommt, dorthin, wo die Aufmerksamkeit hält — nahe bei der Frage statt in der Mitte vergraben. Halte jede abgerufene Passage zuordenbar, damit das Modell sie zitieren kann, statt sie mit allem anderen zu verrühren. Jede dieser Entscheidungen betrifft, was das Modell ansehen darf, und jede fällt, bevor das Modell läuft.
Nimm die Technik weg, und es ist ein ganz gewöhnliches Briefing. Gib einer fähigen Kollegin vierzig Seiten und eine vage Frage, und du bekommst eine ausweichende Antwort. Gib derselben Kollegin den einen Absatz, auf den es ankommt, und frag präzise, und du bekommst eine brauchbare. Ihre Intelligenz hat sich zwischen den beiden Versuchen nicht verändert. Verändert hat sich, was sie in der Hand hielt, als du gefragt hast.
Für alle, die eine Website besitzen, statt solche Systeme zu bauen, ist die interessante Hälfte, was überhaupt abgerufen wird. Wenn eine Assistenz eine Frage zu deinem Unternehmen beantwortet, sind deine Seiten das Material, unter dem der Abrufschritt von irgendjemandem auswählt. Ob eine Passage von dir diese Auswahl übersteht, entscheidet sich an Dingen, die du in der Hand hast: ob sie überhaupt lesbar ist, ob sie ein Datum trägt und ob sie die Frage für sich beantwortet, statt sich auf den Absatz darüber zu stützen. Du kannst den Kontext anderer nicht bauen. Du kannst entscheiden, was du ihm anbietest.