LLMOps für den laufenden Betrieb von KI Anwendungen | Anexia

Bei einer KI-Anwendung entsteht das Verhalten aus mehreren Bestandteilen. Anwendungscode, Prompt, Modellparameter, Werkzeugdefinitionen und Wissensindex können unabhängig geändert werden. Wir beschreiben deshalb, welche Kombination als freigegebener Stand gilt. Die Zuordnung zu Evaluationsergebnissen muss auch nach einer späteren Veröffentlichung nachvollziehbar bleiben.

Ein Rollout kann zunächst eine begrenzte Nutzergruppe oder ausgewählte Vorgangstypen bedienen. Dabei werden fachliche Qualität, Fehler und Kosten mit dem bisherigen Stand verglichen. Abbruchkriterien werden vorab festgelegt. Für externe Modelle berücksichtigen wir, welche Versionssteuerung tatsächlich verfügbar ist und welche Änderungen außerhalb des eigenen Einflusses liegen. Rückfallwege dürfen keine falsche Sicherheit erzeugen: Wenn ein Modell nicht mehr angeboten wird, braucht es eine gesondert geprüfte Alternative. Auch Datenänderungen werden kontrolliert, denn ein neuer Wissensbestand kann Antworten verändern, ohne dass ein Softwaredeploy stattfindet. Der Betriebsprozess verbindet diese unterschiedlichen Lebenszyklen zu einer überprüfbaren Veröffentlichung.

Die erste technische Entscheidung betrifft die Herkunft und Verwendbarkeit der Informationen. Der LLM-Betrieb benötigt eine eindeutige Antwort darauf, welche Quelle verbindlich ist, wer sie pflegt und welche Personen auf welche Inhalte zugreifen dürfen. Ein erfolgreich verbundener Datenbestand kann fachlich ungeeignet sein, wenn ältere Fassungen neben aktuellen Vorgaben stehen oder Projektgrenzen nicht erkennbar sind. Wir erfassen deshalb Aktualisierungszyklen, Löschereignisse und die Übernahme von Zugriffsrechten. Für einen Pilot genügt häufig ein klar begrenzter Bestand, sofern er die relevanten Schwierigkeiten tatsächlich enthält. Dazu zählen widersprüchliche Angaben, fehlende Informationen und eingeschränkte Sichtrechte. Für das LLMOps entsteht dadurch eine überprüfbare Ausgangsbasis. Sie verhindert, dass ein vermeintliches Modellproblem später als Daten- oder Berechtigungsproblem neu bearbeitet werden muss.

Vor einer Freigabe braucht die KI-Betriebsautomatisierung einen Maßstab, den Fachbereich und Technik gemeinsam verstehen. Wir beschreiben dafür typische Aufgaben, zulässige Ergebnisse und Fehler, die keinesfalls unbemerkt bleiben dürfen. Ein Durchschnittswert über sehr unterschiedliche Aufgaben reicht nicht aus. Eine falsche interne Zusammenfassung hat andere Folgen als eine unzutreffende Handlungsanweisung an einen Kunden. Die Bewertung im Rahmen vom LLMOps unterscheidet deshalb nach Anwendungsfall und Auswirkung. Schwierige Fälle werden bewusst aufgenommen und nicht aus dem Testbestand entfernt, weil sie die Kennzahl verschlechtern. Auch die richtige Zurückweisung einer nicht lösbaren Anfrage zählt als mögliches Qualitätsmerkmal. Der Modellbetrieb erhält so Freigabekriterien, die über einen subjektiv gelungenen Demonstrationstermin hinausreichen und bei späteren Änderungen erneut angewendet werden können.

Inhalte aus Dokumenten, Nachrichten oder externen Werkzeugen können Texte enthalten, die sich wie Anweisungen an ein Modell lesen. Für den LLM-Betrieb behandeln wir diese Inhalte deshalb als zu verarbeitende Daten und prüfen, welche Aktionen die Anwendung daraus überhaupt ableiten darf. Kritische Berechtigungen werden außerhalb des Modells durchgesetzt. Ein sprachlicher Hinweis im Prompt ersetzt keine technische Zugriffskontrolle. Werkzeugaufrufe erhalten begrenzte Rechte und überprüfbare Parameter. Wo ein Ergebnis nach außen wirkt oder Daten verbindlich verändert, wird eine geeignete Freigabe vorgesehen. Zusätzlich werden absichtlich problematische Eingaben in den Testbestand aufgenommen. Das LLMOps wird dadurch anhand konkreter Missbrauchs- und Fehlerszenarien geprüft, statt Sicherheit allein aus dem vorgesehenen Normalbetrieb abzuleiten.

Eine menschliche Freigabe ist bei der KI-Betriebsautomatisierung nur dann wirksam, wenn die prüfende Person ausreichenden Kontext erhält. Ein fertiger Text ohne Quellen, Annahmen oder erkennbare Änderungen lässt sich unter Zeitdruck kaum verlässlich beurteilen. Wir gestalten die Prüfung deshalb entlang der tatsächlichen Entscheidung. Relevante Ausgangsdaten, unsichere Stellen und vorgeschlagene Änderungen werden gemeinsam dargestellt. Die zuständige Person kann ablehnen, korrigieren oder zusätzliche Informationen anfordern. Diese Rückmeldungen werden für die Qualitätsverbesserung nutzbar gemacht, ohne vertrauliche Inhalte unkontrolliert weiterzuverwenden. Gleichzeitig messen wir den Prüfaufwand. Für den Modellbetrieb entsteht erst dann ein wirtschaftlicher Vorteil, wenn die Unterstützung einschließlich notwendiger Kontrolle einen besseren Ablauf ermöglicht als die bisherige Bearbeitung.

Für den LLM-Betrieb können Veränderungen außerhalb des eigentlichen Anwendungscodes entscheidend sein. Neue Dokumente, andere Zugriffseinstellungen oder ein überarbeiteter Prompt verändern das Ergebnis, obwohl keine klassische Softwareversion veröffentlicht wurde. Wir legen deshalb fest, welche Bestandteile zu einem prüfbaren Stand gehören und wie Änderungen dokumentiert werden. Bei einem auffälligen Ergebnis muss nachvollziehbar bleiben, welche Quellen und Einstellungen beteiligt waren. Die dafür gespeicherten Informationen werden auf den erforderlichen Umfang begrenzt. Ein geeigneter Veröffentlichungsprozess verbindet fachliche Tests mit technischer Freigabe. Das LLMOps kann so schrittweise weiterentwickelt werden, ohne die Zuordnung zwischen Änderung und Wirkung zu verlieren. Bei Problemen erleichtert diese Nachvollziehbarkeit eine gezielte Korrektur.

Der Schutzbedarf bei der KI-Betriebsautomatisierung umfasst mehr als den Ort, an dem das Modell ausgeführt wird. Eingaben können in Protokollen, temporären Dateien, Suchindizes oder Rückmeldesystemen weiterverarbeitet werden. Wir betrachten deshalb den vollständigen Datenweg einschließlich administrativer Zugriffe und nachgelagerter Auswertungen. Für jeden Speicherort werden Zweck, Zugriffsberechtigung und Aufbewahrung festgelegt. Die Fach- und Datenschutzverantwortlichen erhalten die Informationen, die sie für ihre Bewertung benötigen. Ein europäischer Verarbeitungsort kann eine wichtige Anforderung sein, ersetzt aber keine Prüfung dieser Zusammenhänge. Der Modellbetrieb wird so in das bestehende Schutzmodell eingebunden. Das erleichtert auch spätere Auskünfte darüber, welche Daten verarbeitet werden und wie eine gewünschte Löschung technisch umgesetzt wird.

Er sollte versioniert und geprüft werden, benötigt aber zusätzlich fachliche Evaluation. Ein formal gültiger Prompt kann das Verhalten deutlich verändern, ohne einen klassischen Softwaretest zu verletzen. Für die KI-Betriebsautomatisierung wird die Antwort anhand Ihrer konkreten Umgebung präzisiert. Entscheidend sind die überprüfbaren Voraussetzungen des Vorhabens.

Für den Modellbetrieb helfen eine kurze Beschreibung des betroffenen Ablaufs, die wichtigsten Systeme und bekannte Einschränkungen. Vertrauliche Unterlagen können nach Abstimmung über einen geeigneten Kanal bereitgestellt werden. Ein vollständiges Lastenheft ist für den ersten Austausch nicht erforderlich. Wir benennen anschließend, welche Informationen die technische Bewertung tatsächlich noch benötigt.

Für die KI-Betriebsautomatisierung werden die vereinbarten Ergebnisse, Prüfungen und offenen Punkte dokumentiert. Dazu gehören die relevante Konfiguration und die Voraussetzungen ihrer Nutzung. Der Umfang richtet sich nach dem Auftrag. Eine Abnahme soll erkennen lassen, was überprüft wurde, welche Einschränkungen bestehen und wer die verbleibenden Aufgaben übernimmt.

Bei dem Modellbetrieb beschränken wir benötigte Informationen und Zugriffe auf den vereinbarten Zweck. Rollen, Datenwege und die Beendigung von Zugängen werden abgestimmt. Wenn personenbezogene Daten oder besonders geschützte Inhalte betroffen sind, werden die zuständigen Fachstellen einbezogen. Die technische Umsetzung orientiert sich an den daraus festgelegten Anforderungen.