Sie haben vor sechs Monaten eine LLM-basierte Funktion ausgeliefert. Es wurde lange vor dem Start getestet. Die Benutzer schienen zunächst zufrieden zu sein. Aber in letzter Zeit häufen sich Supportanfragen zur KI-Qualität. Der Modellanbieter hat letzten Monat ein Update veröffentlicht, das Sie nicht wirklich bewertet haben. Ihr Bewertungsdatensatz wurde seit dem Start nicht aktualisiert. Und das Team, das die Funktion entwickelt hat, ist zu anderen Projekten übergegangen und meldet sich nur dann, wenn etwas so schlimm kaputt geht, dass es Aufmerksamkeit erfordert.
Dies ist der Standardverlauf für LLM-Funktionen ohne laufende Evaluierung. Das Modell ändert sich, die Daten ändern sich, die Erwartungen der Benutzer ändern sich und niemand bemerkt Qualitätsverschlechterungen, bis sie zu einem echten Problem werden.
LLM-Evaluierungsrückblicke sind die Praxis, die diesen langsamen Verfall verhindert. Keine einmalige Testphase vor dem Start, sondern eine wiederkehrende Gewohnheit, die Qualität zu messen, Fehler zu verstehen und systematisch zu verbessern.
Warum die LLM-Evaluierung grundlegend anders ist
Wenn Sie aus der traditionellen Softwareentwicklung kommen, wird Sie Ihr Testinstinkt bei LLMs in die Irre führen. Hier ist der Grund:
Ausgaben sind nicht deterministisch. Die gleiche Eingabe kann jedes Mal unterschiedliche Ausgaben erzeugen. Das bedeutet, dass Sie nicht mit einfachen „Erwartete Ausgabe entspricht tatsächlicher Ausgabe“-Behauptungen testen können. Sie müssen die Ausgabequalität anhand eines Spektrums bewerten, nicht mit einem binären Pass/Fail.
Korrektheit ist subjektiv. Für viele LLM-Aufgaben gibt es keine einzige richtige Antwort. Eine gute Zusammenfassung, eine hilfreiche Antwort des Kundendienstes, eine gut geschriebene E-Mail – dazu gehören Urteile, bei denen vernünftige Menschen anderer Meinung sind. Ihr Bewertungsrahmen muss diese Subjektivität explizit berücksichtigen.
Die Qualität nimmt stillschweigend ab. Herkömmliche Software bricht lautstark ab: Fehler, Abstürze, fehlgeschlagene Tests. Die LLM-Qualität nimmt allmählich ab: etwas ungenauere Ausgaben, leicht unterschiedliche Töne, geringfügig weniger relevante Reaktionen. Wenn es jemand bemerkt, könnte die Qualität bereits seit Wochen nachlassen.
Das Modell ändert sich unter Ihnen. Wenn Sie ein API-basiertes Modell verwenden (was die meisten Teams tun), kann der Modellanbieter das Modell jederzeit aktualisieren. Diese Updates verbessern in der Regel die Dinge insgesamt, können aber das Verhalten für Ihren spezifischen Anwendungsfall auf eine Weise ändern, die Sie nicht erwarten.
Diese Unterschiede bedeuten, dass Sie eine kontinuierliche Bewertungspraxis benötigen und keinen Ansatz, bei dem nur „Testen und dann versenden“ gilt.
Was zu messen ist
Sie müssen nicht alles messen. Sie müssen die Dinge messen, die für Ihren spezifischen Anwendungsfall wichtig sind, und zwar konsistent genug, um Trends zu erkennen. Hier ist ein praktischer Rahmen.
Genauigkeit und Treue
Erzeugt das Modell korrekte Informationen? Diese Dimension ist für sachliche Aufgaben am wichtigsten: Beantwortung von Fragen, Zusammenfassung, Datenextraktion, Analyse.
So bewerten Sie: Nehmen Sie eine Probe der jüngsten Produktionsergebnisse. Lassen Sie jeden von einem menschlichen Prüfer auf sachliche Fehler, Halluzinationen (Informationen, die nicht durch den bereitgestellten Kontext unterstützt werden) und Auslassungen (wichtige Informationen, die verfügbar waren, aber nicht enthalten waren) überprüfen.
Was zu verfolgen ist: Die Rate sachlicher Fehler pro Stichprobe und ob diese Rate tendenziell nach oben oder unten tendiert. Verfolgen Sie auch die Schwere von Fehlern – ein falsch geschriebener Name ist weniger besorgniserregend als eine falsche Finanzzahl.
Anweisungen folgen
Tut das Modell, was Sie von ihm verlangt haben? Dies umfasst die Einhaltung von Formaten, die Einhaltung von Einschränkungen und die Erledigung von Aufgaben.
So bewerten Sie: Definieren Sie klare Kriterien, wie eine „richtige“ Ausführung der Aufgabe aussieht. Entspricht die Ausgabe dem angeforderten Format? Werden Längenbeschränkungen beachtet? Bleibt es im definierten Rahmen? Diese sind objektiver messbar als Qualitätsurteile.
Was verfolgt werden soll: Der Prozentsatz der Ausgaben, die allen Anweisungen folgen. Kategorisieren Sie die Verstöße – handelt es sich um Formatprobleme, Einschränkungsverstöße oder Bereichsabweichungen? Jeder weist auf einen anderen Fix hin.
Vom Benutzer wahrgenommene Qualität
Finden Benutzer die Ergebnisse hilfreich, gut geschrieben und nützlich? Dies ist die am schwierigsten zu messende Dimension, aber wohl die wichtigste.
So bewerten Sie: Zwei Ansätze funktionieren gut. Erstens, produktinterne Signale: Daumen hoch/runter, explizite Bewertungen, Folgefragen (wenn der Benutzer eine Folgefrage stellt, war die erste Antwort möglicherweise nicht vollständig). Zweitens, regelmäßige menschliche Bewertung: Nehmen Sie eine Probe und bewerten Sie sie anhand einer Rubrik, die definiert, was „gut“ für Ihre Funktion bedeutet.
Was zu verfolgen ist: Allgemeine Zufriedenheitstrends und die spezifischen Qualitätsdimensionen, in denen Benutzer ihre Unzufriedenheit äußern.
Sicherheit und Ausrichtung
Erzeugt das Modell Ergebnisse, die schädlich, voreingenommen oder unangemessen sind? Diese Dimension steht auf dem Spiel – Misserfolge haben hier übergroße Auswirkungen.
So bewerten Sie: Führen Sie Ihre Sicherheitstestsuite regelmäßig aus (nicht nur beim Start). Beziehen Sie kontradiktorische Tests ein: Eingaben, die dazu dienen sollen, schädliche Ausgaben hervorzurufen. Überprüfen Sie alle von Ihrer Inhaltsmoderationsebene gekennzeichneten Ausgaben.
Was verfolgt werden soll: Die Rate der Sicherheitsverstöße, einschließlich Beinaheunfällen, die von Filtern erfasst wurden. Verfolgen Sie kontroverse Testergebnisse über Modellaktualisierungen hinweg – ein Modell, das vor einem Update sicher war, ist nach einem Update möglicherweise nicht mehr sicher.
Die Evaluations-Retrospektive
Kadenz
Monatlich funktioniert für die meisten Teams gut. Häufiger, wenn Sie sich in einem Bereich mit hohem Risiko befinden (Gesundheitswesen, Finanzen, Recht) oder wenn Sie Prompts schnell wiederholen. Weniger häufig, wenn Ihre Funktion stabil und risikoarm ist – aber nie seltener als vierteljährlich.
Vorbereitung
Die Retrospektive ist nur so gut wie die Daten, die Sie einbringen. Jemand im Team (drehen Sie diese Rolle) muss Folgendes vorbereiten:
Metrik-Dashboard. Ihre wichtigsten Qualitätsmetriken für den aktuellen Zeitraum im Vergleich zum vorherigen Zeitraum. Konzentrieren Sie sich darauf – maximal 4–6 Metriken, die direkt mit den oben genannten Dimensionen verknüpft sind.
Ergebnisse der Evaluierungsbeispiele. Führen Sie Ihre Evaluierungssuite aus und bringen Sie die Ergebnisse mit. Wenn Sie eine menschliche Beurteilung durchführen, lassen Sie diese vor dem Meeting abschließen, nicht während des Meetings.
Fehlerbeispiele. Die 5–10 schlechtesten Ergebnisse des Zeitraums. Geben Sie den vollständigen Kontext an: Eingabe, Prompt, Ausgabe und warum es schlecht ist. An diesen konkreten Beispielen findet die produktivste Diskussion statt.
Änderungsprotokoll. Alle Änderungen, die sich möglicherweise auf die Qualität ausgewirkt haben: Aktualisierungen von Prompts, Änderungen der Modellversion, Datenaktualisierungen, Funktionsänderungen, Änderungen im Nutzungsverhalten.
Besprechungsstruktur (60 Minuten)
Überprüfung der Kennzahlen (10 Minuten). Verbessern wir uns, sind wir rückläufig oder stagnieren wir in jeder Dimension? Gibt es Kennzahlen, die einen für uns wichtigen Schwellenwert überschritten haben? Gibt es unerwartete Änderungen, die wir uns nicht erklären können?
Deep-Dive zu Fehlern (25 Minuten). Gehen Sie die Fehlerbeispiele durch. Für jeden sollte das Team Folgendes besprechen:
- Was ist konkret schiefgelaufen?
- Ist das ein neuer Fehlermodus oder einer, den wir schon einmal gesehen haben?
- Was ist die Grundursache – Prompt, Modell, Daten oder etwas anderes?
- Wie würden wir das in Zukunft automatisch erkennen?
Das Ziel besteht nicht darin, jeden Fehler im Meeting zu beheben. Es geht darum, Muster zu verstehen und Prioritäten zu setzen.
Überprüfung des Bewertungsprozesses (10 Minuten). Misst unsere Bewertung tatsächlich die richtigen Dinge? Gibt es Fehlermodi, die wir nicht erkennen? Müssen wir unsere Testfälle aktualisieren? Stimmen unsere Bewertungskriterien noch mit den Interessen der Nutzer überein?
Diese Meta-Rezension ist wichtig. Evaluierungsprozesse können wie alles andere veraltet sein. Wenn Ihre Testfälle alle sechs Monate alt sind und sich die Bedürfnisse Ihrer Benutzer geändert haben, vermittelt Ihnen Ihre Auswertung ein falsches Sicherheitsgefühl.
Maßnahmen (15 Minuten). Wählen Sie 2-3 spezifische Verbesserungen aus. Diese fallen normalerweise in folgende Kategorien:
- Schnelle Änderungen zur Behebung spezifischer Fehlermuster
- Auswertungsverbesserungen (neue Testfälle, aktualisierte Rubriken, bessere Automatisierung)
- Leitplanken-Updates (neue Sicherheitsfilter, zusätzliche Nachbearbeitungsprüfungen)
- Untersuchungsaufgaben (Untersuchung einer unerklärlichen Qualitätsänderung, Profilierung eines bestimmten Fehlermodus)
Erstellen Sie Ihren Bewertungsstapel
Für den Anfang benötigen Sie keine teuren Werkzeuge. Hier ist ein praktischer Fortschritt.
Phase 1: Manuelle Bewertung (hier beginnen)
Probieren Sie wöchentlich 20–30 Produktionsergebnisse. Lassen Sie zwei Teammitglieder unabhängig voneinander jedes einzelne Mitglied in Ihrer Qualitätsrubrik bewerten. Vergleichen Sie ihre Bewertungen – wenn sie häufig anderer Meinung sind, muss Ihre Rubrik spezifischer sein. Verfolgen Sie diese Bewertungen in einer Tabelle.
Das ist unscheinbar, aber effektiv. Durch das Lesen von 30 realen Ausgaben erfahren Sie mehr über das Verhalten Ihres Modells als durch jede automatisierte Metrik.
Phase 2: Halbautomatische Auswertung
Erstellen Sie einen Bewertungsdatensatz: 100–200 Beispiele mit Eingabe, erwarteten Ausgabemerkmalen (nicht unbedingt exakten Ausgaben) und Qualitätsanmerkungen. Führen Sie dies automatisch aus, wenn Sie Prompts oder Modelle ändern. Nutzen Sie die Ergebnisse, um Regressionen abzufangen, bevor sie in Produktion gehen.
Fügen Sie die LLM-as-Judge-Bewertung für Dimensionen hinzu, bei denen sie gut funktioniert: Formatkonformität, Befolgen von Anweisungen, grundlegende sachliche Überprüfung. Nutzen Sie die menschliche Beurteilung für Dimensionen, in denen dies nicht der Fall ist: Nuancen, Hilfsbereitschaft, Angemessenheit des Tons.
Phase 3: Kontinuierliche Überwachung
Richten Sie automatisierte Qualitätsprüfungen für den Produktionsverkehr ein. Diese müssen nicht alles erfassen – sie müssen genug erfassen, um Sie zu benachrichtigen, wenn sich die Qualität erheblich ändert. Ein einfacher Ansatz: Stichproben Sie einen kleinen Prozentsatz der Produktionsabfragen nach dem Zufallsprinzip, führen Sie automatisierte Prüfungen durch und benachrichtigen Sie, wenn die Fehlerrate einen Schwellenwert überschreitet.
Dies ergänzt Ihre menschliche Beurteilung, anstatt sie zu ersetzen. Die automatisierte Überwachung erkennt plötzliche Änderungen schnell. Die menschliche Bewertung erkennt subtile Qualitätsabweichungen, die automatisierten Metriken entgehen.
Häufige Bewertungsfehler
Bewertung nur anhand einfacher Beispiele. Wenn Ihr Bewertungsdatensatz keine schwierigen Fälle enthält, messen Sie die Best-Case-Leistung und nicht die Leistung in der realen Welt. Beziehen Sie widersprüchliche Eingaben, mehrdeutige Abfragen, domänenspezifische Inhalte und die Art unordentlicher Eingaben ein, die Ihre tatsächlichen Benutzer senden.
Verwendung automatisierter Metriken als einziges Maß. Automatisierte Metriken (BLEU, ROUGE, BERTScore) sind nützlich für die Verfolgung von Trends, korrelieren jedoch bei vielen Aufgaben schlecht mit menschlichen Qualitätsbeurteilungen. Wenn Ihre automatisierten Messwerte besagen, dass die Qualität in Ordnung ist, sich die Benutzer aber beschweren, vertrauen Sie den Benutzern.
Vergleichen von Modellen auf verschiedenen Evaluierungssätzen. Wenn Sie prüfen, ob ein Modellwechsel erfolgen soll, verwenden Sie für beide genau denselben Evaluierungssatz. Wenn Sie Modell A an einem Satz von Beispielen und Modell B an einem anderen Satz testen, ist der Vergleich bedeutungslos.
Die Übereinstimmung zwischen den Bewertern wird nicht erfasst. Wenn Ihre menschlichen Bewerter bei 40 % der Bewertungen anderer Meinung sind, sind Ihre Bewertungsdaten verrauscht. Verbessern Sie entweder Ihre Rubrik, bieten Sie mehr Schulungen an oder akzeptieren Sie, dass die Aufgabe von Natur aus subjektiv ist, und gestalten Sie Ihre Kennzahlen entsprechend.
Zu seltene Auswertung. Eine monatliche Auswertung mit wöchentlichen Modelländerungen bedeutet, dass Sie immer veraltete Daten sehen. Passen Sie Ihren Bewertungsrhythmus an Ihren Änderungsrhythmus an.
Bewertung zu einem Teil der Kultur machen
Der schwierigste Teil der LLM-Bewertung ist nicht die Methodik, sondern die Aufrechterhaltung der Praxis. Die Bewertung fühlt sich wie ein Aufwand an, besonders wenn die Dinge gut laufen. Die Versuchung, „nur diesen Monat“ auszulassen, ist groß.
Was hilft: Evaluationsergebnisse sichtbar machen. Teilen Sie sie in Teamkanälen. Feiern Sie Qualitätsverbesserungen. Behandeln Sie Qualitätsregressionen als Vorfälle, die einer Untersuchung bedürfen. Wenn die Bewertung ein Problem aufdeckt, bevor Benutzer es bemerken, machen Sie es auch sichtbar – es rechtfertigt die laufenden Investitionen.
Im Laufe der Zeit entwickeln Teams mit einer starken Bewertungspraxis bessere Vorstellungen über ihre Modelle. Sie antizipieren Fehlermodi. Sie nehmen schnelle Änderungen mit mehr Selbstvertrauen vor. Sie erkennen Probleme schneller, wenn sie auftreten. Die Retrospektive ist der Mechanismus, der dieses institutionelle Wissen aufbaut.
Probieren Sie NextRetro kostenlos aus – Strukturieren Sie Ihre Bewertungsrückblick mit Phasen zur Metriküberprüfung, Fehleranalyse und Verbesserungsplanung.
Letzte Aktualisierung: Februar 2026
Lesezeit: 8 Minuten
