LLM Evaluation vor und nach dem Produktivstart | Anexia

Für die KI-Qualitätsprüfung erstellen wir einen Aufgabenbestand mit nachvollziehbarer Herkunft. Er enthält typische Fälle, schwierige Ausnahmen und bewusst nicht lösbare Aufgaben. Erwartete Ergebnisse werden so beschrieben, dass mehrere fachkundige Personen sie konsistent beurteilen können. Wo eine eindeutige Referenzantwort fehlt, braucht es begründete Bewertungskriterien. Ein zweites Modell kann dabei unterstützen, sollte aber nicht ungeprüft die gesamte Qualitätsentscheidung übernehmen.

Bei der Durchführung von LLM-Tests trennen wir Entwicklungsmaterial und den Bestand für die abschließende Bewertung. Wird jede Anpassung an denselben Beispielen optimiert, kann das Ergebnis die tatsächliche Alltagstauglichkeit überschätzen. Für die LLM-Evaluation werden deshalb auch neue oder zurückgehaltene Aufgaben eingesetzt. Messergebnisse bleiben mit Modellstand, Prompt, Datenquelle und Konfiguration verbunden. Zusätzlich wird der Aufwand der menschlichen Prüfung erfasst. Ein Modell mit etwas besserer Antwortqualität kann wirtschaftlich ungeeignet sein, wenn Wartezeit oder Nacharbeit deutlich steigen. Der Abschluss von der Modellevaluation zeigt deshalb Unterschiede je Aufgabenklasse und die Grenzen des Testbestands, statt aus einer einzelnen Kennzahl eine allgemeine Leistungszusage abzuleiten.

Leistungsumfang für die LLM-Evaluation

Der vereinbarte Umfang für die KI-Qualitätsprüfung kann folgende Ergebnisse enthalten: Testdatensatz, Bewertungsrubrik, Referenzantworten, Auswertungsprozess und Regressionstests für Modellwechsel. Wir legen für jedes wesentliche Ergebnis fest, wozu es dient, wer es prüft und in welcher Form es übergeben wird. Damit können Entwicklung, Betrieb und Beschaffung dieselbe Leistung beurteilen. Unklare Sammelbegriffe werden im Angebot durch konkrete Arbeitspakete ersetzt.

Die Durchführung von LLM-Tests umfasst außerdem die Abstimmung der notwendigen Schnittstellen zu Ihrem Team. Wir klären Zugänge, Ansprechpartner und verfügbare Testmöglichkeiten vor den betroffenen Umsetzungsschritten. Änderungen am Umfang werden mit ihrer Auswirkung auf Aufwand und Reihenfolge beschrieben. Sie behalten dadurch einen nachvollziehbaren Überblick über gelieferte Ergebnisse, noch offene Voraussetzungen und zusätzliche Wünsche.

Die wesentliche technische Entscheidung bei der LLM-Evaluation

Automatisierte Bewertungsmodelle können vorsortieren, werden aber anhand menschlich geprüfter Fälle auf systematische Fehlurteile kontrolliert. Für die Modellevaluation dokumentieren wir die dafür relevanten Annahmen und begründen die gewählte Variante. Wesentliche Alternativen werden anhand derselben fachlichen Anforderungen betrachtet. Das erleichtert spätere Anpassungen, wenn sich Last, Datenbestand oder organisatorische Zuständigkeit verändern.

Eine tragfähige Entscheidung berücksichtigt auch Wartbarkeit und Übergabe. Bei der KI-Qualitätsprüfung prüfen wir, welche Kompetenzen intern vorhanden sind und welche Betreuung zusätzlich benötigt wird. Technische Möglichkeiten werden dadurch mit einem realistischen Betriebsmodell verbunden. Der Auftraggeber erkennt, welche Aufgaben nach dem Projekt regelmäßig anfallen und welche Entscheidungen bei ihm verbleiben.

Ein Testbestand, der ständig zur Optimierung verwendet wird, verliert seine Aussagekraft für unbekannte Fälle. Diesen Punkt behandeln wir bei der Durchführung von LLM-Tests als konkrete Prüffrage. Ein Risiko wird mit dem betroffenen Ablauf, seiner möglichen Auswirkung und einer geeigneten Maßnahme verbunden. Wo Voraussetzungen noch fehlen, bleibt die Aussage ausdrücklich offen, bis die notwendige Untersuchung erfolgt ist.

Wir trennen Entwicklungs- und Abnahmedaten und betrachten Qualitätswerte nach Fallart statt nur als einen gemeinsamen Durchschnitt. Für die LLM-Evaluation halten wir Ausgangslage, getestete Konfiguration und Ergebnis fest. Die Abnahme bezieht sich auf den vereinbarten Umfang. Offene Einschränkungen werden sichtbar dokumentiert und einem verantworteten nächsten Schritt zugeordnet. So kann Ihr Team zwischen nachgewiesener Funktion, einer bewussten Entscheidung und einer noch unbestätigten Annahme unterscheiden.

Projektbeispiel als illustratives Szenario

Das folgende Szenario ist ein Anwendungsbeispiel und keine Kundenreferenz. Eine interne Assistenz beantwortet Fragen zu Unternehmensrichtlinien. Einzelne Vorführungen wirken überzeugend, doch verschiedene Formulierungen derselben Frage führen zu abweichenden Antworten. Bei der LLM-Evaluation würde deshalb zunächst ein fachlich bewerteter Testbestand entstehen. Er enthielte eindeutige Fragen ebenso wie veraltete Informationen, widersprüchliche Quellen und Fälle ohne zulässige Antwort.

Für die Modellevaluation würden Bewertungsregeln vor dem Vergleich von Modellen oder Prompts festgelegt. Eine sprachlich flüssige Antwort könnte fachlich unvollständig sein; eine richtige Aussage könnte trotzdem eine unzulässige Quelle verwenden. Diese Dimensionen wären getrennt zu erfassen. Fachprüfer würden strittige Bewertungen gemeinsam klären. Automatisierte Auswertungen könnten die Prüfung ergänzen, müssten aber an menschlich bewerteten Beispielen auf ihre Aussagekraft untersucht werden. Änderungen würden unter möglichst vergleichbaren Eingaben getestet.

Die Freigabe nach die KI-Qualitätsprüfung würde bekannte Fehlerklassen und verbleibende Unsicherheiten enthalten. Ein Durchschnittswert dürfte kritische Einzelfehler nicht verdecken. Vorgesehen wären ein versionierter Testbestand, nachvollziehbare Bewertungsregeln und eine Auswertung je relevanter Nutzergruppe oder Aufgabenklasse. Nach dem Produktivstart könnten neue Fehlerfälle in die Prüfung aufgenommen werden. Auf dieser Grundlage ließe sich beurteilen, ob eine Modelländerung insgesamt hilft oder ob sie einen wichtigen Anwendungsfall verschlechtert.

Unsere Erfahrung und unser Engineering Ansatz

Wir verbinden individuelle Softwareentwicklung mit den technischen Aufgaben der Einführung und Weiterentwicklung. Für die Modellevaluation bringen wir die Perspektiven von Anwendung, Integration und Betrieb in einen gemeinsamen Arbeitsablauf. Die fachlichen Anforderungen bleiben dabei mit den technischen Entscheidungen verbunden. Sie arbeiten mit einem benannten Leistungsumfang und nachvollziehbaren Ergebnissen.

Unsere Erfahrung soll für Ihr Vorhaben konkret überprüfbar werden. Deshalb erläutern wir im technischen Austausch, wie wir die relevanten Risiken untersuchen, welche Arbeitsergebnisse vorgesehen sind und wie Ihr Team diese beurteilen kann. Für die KI-Qualitätsprüfung stimmen wir die beteiligten Rollen auf den tatsächlichen Bedarf ab. Verfügbare Referenzen werden mit dem jeweiligen Projekt- und Gesellschaftsbezug eingeordnet; vertrauliche Kundendetails werden nicht als allgemeine Werbeaussage verwendet.

Aufwand für die KI-Qualitätsprüfung

Der Aufwand hängt von Fachkomplexität, Verfügbarkeit qualifizierter Prüfer und der Abdeckung seltener, folgenreicher Fälle ab. Wir kalkulieren die LLM-Evaluation deshalb anhand eines abgegrenzten Umfangs und ausdrücklich genannter Voraussetzungen. Ein erster Analyseschritt kann sinnvoll sein, wenn wesentliche technische Informationen noch fehlen. Danach lassen sich Arbeitspakete und Abnahmekriterien belastbarer vereinbaren.

Die Modellevaluation kann als begrenztes Projekt, als gemeinsame Umsetzung mit Ihrem Team oder mit anschließender Betreuung organisiert werden. Nutzungsrechte, Zugänge, Dokumentation und Verantwortlichkeiten werden im Auftrag geklärt. Laufende Betriebszeiten, Reaktionsfristen und externe Verbrauchskosten sind eigene Vereinbarungen. So bleibt erkennbar, welche Leistungen einmalig erbracht werden und welche Aufgaben nach der Einführung regelmäßig anfallen.

Abgrenzung von der LLM-Evaluation

Eine bestandene Evaluation gilt für die geprüfte Konfiguration und ersetzt keine laufende Beobachtung nach Daten- oder Modelländerungen. Für die Durchführung von LLM-Tests halten wir diese Grenze bereits im Angebot fest. Benötigte Zusatzleistungen werden mit ihrer fachlichen Begründung aufgenommen und nicht stillschweigend vorausgesetzt. Ihr Team kann dadurch passende interne Kompetenzen einplanen und die Gesamtleistung zwischen Beteiligten sinnvoll aufteilen.