Evaluierung ist das Produkt
Ein praktisches Plädoyer dafür, Agenten-Evaluierung als Betriebssystem zu behandeln — nicht als Launch-Checkliste.
Von Jon Bell
· 8 Min.
Agentenqualität ist nicht statisch. Modelle ändern sich, Quelldaten driften, Tools entwickeln sich weiter, und die Menschen, die das System nutzen, entdecken neue Edge Cases.
Das macht Evaluierung zu einem kontinuierlichen Produkt — nicht zu einem Tor, das vor dem Launch passiert wird.
Bauen Sie eine Evidenz-Schleife
Beginnen Sie mit echten Aufgaben aus dem Workflow. Erfassen Sie das erwartete Ergebnis, akzeptable Varianz und Bedingungen, die Eskalation erfordern. Evaluieren Sie dann mehr als die finale Antwort:
- Wurde der richtige Kontext abgerufen?
- Wurden Tools in der richtigen Reihenfolge genutzt?
- Hat der Agent die Evidenz hinter seiner Entscheidung zitiert?
- Hat er gestoppt, wenn die Befugnis unklar war?
Der Score ist nützlich. Der Trace erklärt, was verbessert werden muss.
Messen Sie das operative Ergebnis
Modellgenauigkeit zählt, aber der Business Case liegt woanders: Durchlaufzeit, Eskalationsqualität, Nacharbeit und menschliche Aufmerksamkeit, die für höherwertige Entscheidungen zurückgewonnen wird.