Verlässliche KI-Agenten sind mathematisch unmöglich
Über die Wahrscheinlichkeitsrechnung hinter autonomen KI-Systemen.
Wenn ein KI-Agent 20 Schritte hintereinander ausführt und jeden einzelnen mit 95 Prozent Genauigkeit schafft, liegt die Gesamterfolgswahrscheinlichkeit bei knapp 36 Prozent. Reine Multiplikation.
Die Branche träumt gerade von autonomen Systemen, die komplette Aufgabenketten abarbeiten: Recherche, Analyse, Entwurf, Versand. Alles ohne menschliches Zutun. Und ja, jeder einzelne Schritt funktioniert beeindruckend gut, wenn man ihn isoliert betrachtet. Das Problem beginnt dort, wo Schritte aufeinander aufbauen, weil sich Ungenauigkeiten in sequenziellen Ketten potenzieren statt addieren.
Hersteller von selbstfahrenden Autos kennen dieses Phänomen als „The March of Nines". Ein System auf 99 Prozent Zuverlässigkeit zu bringen, ist machbar. Der Schritt auf 99,9 Prozent kostet exponentiell mehr Zeit und Geld. Und der Schritt auf 99,99 Prozent noch mal ein Vielfaches, weil jede zusätzliche Neun eine eigene Ingenieursgeneration erfordert.
Bei KI-Agenten kommt Kontextverlust dazu. Ein minimaler Informationsverlust in Schritt 3 kann das Ergebnis in Schritt 20 komplett entwerten. Deterministische Algorithmen liefern bei gleichem Input immer den gleichen Output. KI-Agenten arbeiten probabilistisch. Sie raten gut, aber sie raten. Und wer 20 Mal hintereinander gut raten muss, verliert irgendwann.
Die Diskussion unter Daniels Post hat gezeigt, dass die Community das Problem erkennt, es aber unterschiedlich bewertet. Einige argumentieren, dass Closed-Loop-Architekturen mit Selbstkorrektur (ReAct, Reflexion) die Fehlerquote pro Schritt drastisch senken können. Für einzelne Schritte stimmt das. Auch drei Versuche pro Schritt ändern allerdings nichts an der grundlegenden Natur von Wahrscheinlichkeiten über lange Ketten, weil das Gesetz der großen Zahlen auch bei 99,9 Prozent zuschlägt, wenn die Kette lang genug ist.
Ein Vergleich aus der physischen Fertigung macht die Sache greifbar. In der PC-Produktion wird nach jedem kritischen Fertigungsschritt geprüft: Motherboard verlötet, Prozessor bestückt, Qualitätscheck. Mittendrin, weil Fehler billiger sind, wenn man sie früh findet. Dieselbe Logik gilt für KI-Agenten. Wer am Ende der Kette prüft, hat 19 Schritte lang Fehler akkumuliert.
Was funktioniert: Komplexe Ketten in überschaubare Teilschritte zerlegen, sodass jeder Abschnitt validierbar bleibt. Human-in-the-loop nach kritischen Meilensteinen einbauen, als Kontextanker, der die Kette stabilisiert. Und KI als Co-Pilot behandeln, der die 90 Prozent übernimmt, während der Mensch die Fehlerkette dort abfängt, wo es zählt.
Die Frage ist, ob wir ehrlich genug sind, die mathematischen Grenzen von KI-Agenten anzuerkennen, bevor wir sie in Prozesse einbauen, bei denen Fehler teuer werden. Nützlich sind sie. Autonom zuverlässig über lange Ketten bleiben sie auf absehbare Zeit nicht.
Stimmen aus der Diskussion
Volle Kontrolle über den Kontext sei Pflicht, sagt er, und das bedeute schon mal, auf RAG oder Graphen zu verzichten, weil diese Techniken den Kontext aufweichen. Jeder Teilagent brauche seinen eigenen, klar definierten Kontext und müsse selbstreflexiv gebaut sein, mit eigenen Mechanismen zur Qualitätskontrolle. Das Problem seien oft Menschen, die die Grundsätze guter Automation nicht verstehen und dann auch noch KI draufsetzen.
Die 36-Prozent-Rechnung gelte nur für „dumme“ Fire-and-Forget-Skripte, also Open-Loop-Systeme, bei denen Fehler blind durchgereicht werden. Verlässliche Agenten arbeiten heute im Closed-Loop: Sie führen einen Schritt aus, validieren das Ergebnis und korrigieren sich selbst, bevor sie weitergehen. Die 36 Prozent seien ein Symptom schlechter Architektur, kein Naturgesetz. Daniels Antwort darauf: Die Mathematik bleibt dieselbe, auch wenn gutes Engineering die Fehlerquote pro Schritt senkt, weil das Gesetz der großen Zahlen bei langen Ketten trotzdem greift.
100 Prozent Genauigkeit sei weder notwendig noch möglich. Die eigentliche Frage laute: Wie teuer sind die Fehler? In manchen Prozessen sind sie billig. In anderen, etwa im Finanzbereich, wo aus 100.000.000 schnell 100.000 wird, haben sie gravierende Folgen. Wer die Fehlerkosten kennt, kann den Automatisierungsgrad sinnvoll bestimmen. Wer sie nicht kennt, rät.
Takeaway
KI-Agenten scheitern selten an einem einzelnen Schritt. Sie scheitern an der Kette. Wer autonome Systeme baut, ohne die Wahrscheinlichkeitsrechnung zu respektieren, baut ein Casino und nennt es Automatisierung.