Ein KI-Modell vor dem Produktivbetrieb bewerten

Jedes neue KI-Modell erscheint mit seinen Werten in öffentlichen Ranglisten. Keiner dieser Werte sagt, ob es Ihre E-Mails gut sortieren oder Ihre Protokolle getreu zusammenfassen wird. Ein KI-Modell vor dem Produktivbetrieb zu bewerten heißt, genau diese Frage zu beantworten, an Ihren eigenen Aufgaben, bevor Ihre Kunden es zu Ihrem Nachteil tun. Dieser Leitfaden aus unserer Rubrik Unternehmens-KI, privat und zu fairen Kosten gibt die Methode in sechs Schritten, dann ihre Grenzen. Das Modell zu wählen ist die dritte der fünf Fragen unseres Leitfadens zur Einführung von KI im Unternehmen, nach der Aufgabe und dem Ziel der Daten.

Kurz gesagt

• Die Erfolgskriterien werden vor dem ersten Test geschrieben, beziffert, mit einer Obergrenze für Kosten und Antwortzeit.
• Rund zwanzig echte Beispiele, schwierige Fälle eingeschlossen, ergeben ein erstes Urteil; mehr machen es belastbarer.
• Code bewertet, was sich prüfen lässt, ein KI-Richter, was Urteilsvermögen verlangt, ein Mensch prüft eine Stichprobe.
• Gewählt wird das günstigste Modell, das alle Kriterien erfüllt, Korrekturzeit eingeschlossen.
• Der Test wird bei jedem Wechsel von Modell oder Anweisung wiederholt; bei Anthropic zum Beispiel werden alte Modelle regelmäßig abgeschaltet.

Warum eine öffentliche Rangliste nicht genügt

Eine öffentliche Rangliste misst ein Modell an den Fragen anderer. Ihr Einsatz hat seinen Wortschatz, seine Dokumentformate und seine Grenzfälle. Die CNIL, die französische Datenschutzbehörde, empfiehlt in ihren Fragen und Antworten zu generativer KI, „von konkreten Bedürfnissen auszugehen, um das geeignetste System zu wählen“, und bei Bedarf „eine maßgeschneiderte Evaluierung für den vorgesehenen Einsatz durchzuführen oder in Auftrag zu geben“. Der Leitfaden von Anthropic zu Tests sagt dasselbe aus Sicht des Anbieters: Ein Test muss die tatsächliche Verteilung Ihrer Aufgaben abbilden, ohne die Grenzfälle zu vergessen.

Das Anforderungsniveau hängt dann vom Einsatz ab. Die CNIL unterscheidet die Schreibhilfe für Mitarbeitende, die weniger Risiken birgt, von einem System, das bei Entscheidungen über Kunden oder Bewerber hilft und „ein höheres Anforderungsniveau“ verlangt. Eine Sortierung interner E-Mails und eine Vorauswahl von Bewerbungen werden also nicht mit derselben Strenge getestet.

Wie man ein KI-Modell in sechs Schritten bewertet

Die Methode gilt Aufgabe für Aufgabe: Dasselbe Modell kann eine Zusammenfassung meistern und bei der Extraktion von Beträgen scheitern.

1. Die Erfolgskriterien vor dem ersten Test schreiben

Ein Kriterium ist messbar. „E-Mails gut einordnen“ lässt sich nicht prüfen; „mindestens 95 % der Test-E-Mails korrekt einordnen“ zum Beispiel schon. Der Leitfaden von Anthropic verlangt präzise, messbare, erreichbare und für den Einsatz relevante Kriterien und erinnert daran, dass die meisten Einsätze mehrere kombinieren: zum Beispiel Treue zur Aufgabe, Beständigkeit der Antworten, Tonfall, Vertraulichkeit, Antwortzeit und Preis.

Unterscheiden Sie auch störende von schweren Fehlern: Im Beispiel von Anthropic müssen 90 % der Fehler bloße Unannehmlichkeiten bleiben. Eine falsch abgelegte E-Mail lässt sich korrigieren, eine an einen Kunden geschickte falsche Antwort viel weniger. Ergänzen Sie die Punkte, die die CNIL zu prüfen verlangt: Sicherheit, Relevanz für Ihren Bedarf, Robustheit, Abwesenheit von Verzerrungen und Nutzungslizenz.

2. Echte Beispiele sammeln, schwierige Fälle eingeschlossen

Die Beispiele stammen aus Ihrer Tätigkeit: echte E-Mails und echte Dokumente, in dem Verhältnis, in dem sie eintreffen. Unser Prüfstand geht von 20 bis 30 echten Stichproben aus: genug für ein erstes Urteil, nicht für Gewissheit. Der Leitfaden von Anthropic bevorzugt übrigens viele automatisch bewertete Fragen gegenüber wenigen von Hand bewerteten.

Vergessen Sie die schwierigen Fälle nicht. Anthropic nennt vier Gruppen: eine leere oder themenfremde Eingabe, eine zu lange Eingabe, eine schlecht formulierte oder schädliche Anfrage und mehrdeutige Fälle, bei denen sich selbst Menschen schwer einig würden. Legen Sie schließlich einen Teil der Beispiele beiseite, ohne sie je zum Einstellen der Anweisung zu verwenden: An ihnen lässt sich der echte Wert ablesen.

3. Drei bis fünf Modelle vergleichen, darunter ein kleines

Testen Sie mehrere Kandidaten an denselben Beispielen, mit derselben Ausgangsanweisung: das Modell, das Sie bereits nutzen, als Referenz, ein kleineres und günstigeres Modell und, wenn Ihre Daten sensibel sind, ein Modell mit offenen Gewichten, das Sie selbst hosten könnten. Unser Prüfstand vergleicht 3 bis 5. Passen Sie dann die Anweisung jedes Modells an den Arbeitsbeispielen an, nie an den beiseitegelegten: Ein schlecht geführtes Modell kann einen Vergleich verlieren, den es gewonnen hätte.

4. Die Antworten bewerten: zuerst Code, dann ein KI-Richter, ein Mensch zur Kontrolle

Anthropic rät, für jedes Kriterium die schnellste, zuverlässigste und am besten skalierbare Bewertungsmethode zu wählen. Es gibt drei:

• Code, wenn die richtige Antwort bekannt ist: eine Kategorie, ein Betrag, ein extrahiertes Feld. Das ist die schnellste und zuverlässigste Methode, aber sie kann keine Nuance beurteilen.
• Ein KI-Richter, also ein zweites Modell, das die Antworten nach einem schriftlichen Raster bewertet: Tonfall, Relevanz, Treue einer Zusammenfassung. Anthropic empfiehlt ein detailliertes Raster, eine einfache Note („richtig“ oder „falsch“, oder von 1 bis 5), einen Richter, der vor der Bewertung überlegt, und in der Regel ein anderes Modell als das, das geantwortet hat. Seine Zuverlässigkeit wird geprüft, bevor man sich auf ihn verlässt.
• Der Mensch, am flexibelsten und feinsten, aber langsam und teuer: Anthropic rät, ihn zu vermeiden, wo es möglich ist.

Ein KI-Richter hat seine Verzerrungen. Die Studie von Zheng und Mitautoren, 2023 auf der NeurIPS vorgestellt, zeigt, dass er sich von der Reihenfolge der Antworten, ihrer Länge und seiner Vorliebe für eigene Antworten beeinflussen lässt und dass sein Denkvermögen begrenzt bleibt. Sie misst auch, dass ein solider Richter (damals GPT-4) in mehr als 80 % der Fälle mit menschlichen Präferenzen übereinstimmt, so oft wie Menschen untereinander.

Unser Prüfstand bewertet die Qualität in zwei Schritten: ein KI-Richter, dann eine menschliche Prüfung. Der Richter kann ein Spitzenmodell sein: Er ist pro Aufruf teuer, liest aber nur die Stichprobe.

5. Die Kosten einer brauchbaren Antwort berechnen, dann wählen

Der Preis pro Token genügt nicht, um zwei Modelle zu unterscheiden. Entscheidend sind die Kosten einer brauchbaren Antwort.

Ein halb so teures Modell, das bei jeder dritten Antwort eine Korrektur verlangt, kann also insgesamt teurer werden. Messen Sie auch die Antwortzeit, entscheidend für einen Live-Assistenten, zweitrangig für eine nächtliche Verarbeitung. Die Berechnung in Tokens beschreibt unser Leitfaden zu den Kosten von KI im Unternehmen.

Wählen Sie das günstigste Modell, das alle Kriterien aus Schritt 1 erfüllt, und tragen Sie es mit dem Testdatum und dem Grund der Wahl in Ihre Routing-Tabelle ein: So wissen Sie später, warum es gewählt wurde.

6. Den Test bei jedem Wechsel wiederholen

Ein gewähltes Modell bleibt es nicht für immer. Laut der Seite von Anthropic zur Abschaltung seiner Modelle schaltet der Anbieter seine alten Modelle regelmäßig ab, kündigt dies bei einem öffentlichen Modell mindestens 60 Tage im Voraus an, und Anfragen an ein abgeschaltetes Modell schlagen fehl. Am 30. September 2026 hat er so die Abschaltung von Claude Sonnet 4.5 zum 30. November 2026 angekündigt, mit Claude Sonnet 5.5 als Nachfolger, und er rät, die eigenen Anwendungen lange vor dem Datum mit dem Nachfolger zu testen. Diese Daten gelten für die Plattformen, die er betreibt: Amazon Bedrock und Google Cloud legen ihren eigenen Zeitplan fest.

Ein Nachfolger wird nicht blind angeschlossen: Laut derselben Seite führt bei Claude-Modellen ab Version 4.7 eine Temperatur, die auf einen anderen als den Standardwert gesetzt ist, zu einem Fehler.

Wiederholen Sie den Test also beim Modellwechsel, aber auch bei jeder Änderung der Anweisung. Bewahren Sie den Testsatz bei sich auf, mit den Kriterien und den Ergebnissen: Er erlaubt, einen Nachfolger oder einen anderen Anbieter zu vergleichen, ohne bei null anzufangen.

Was eine Evaluierung Ihnen nicht sagt

Eine Evaluierung beurteilt eine Stichprobe, nicht alles, was das Modell erzeugen wird: Das ist die Grenze, die wir für unseren eigenen Prüfstand aufschreiben. Die CNIL erinnert, warum sie zählt: Ein generatives Modell ist keine Wissensdatenbank, es folgt einer probabilistischen Logik und kann ungenaue Ergebnisse erzeugen, „die dennoch plausibel erscheinen können“. Ein „übermäßiges Vertrauen“ ohne angemessene Prüfung kann zu falschen Entscheidungen führen.

Die Produktion setzt den Test also fort. Unser eigener Agent zur Erfassung von Ausgaben läuft seit Juli 2026 produktiv auf Telegram: Er liest das Foto eines Belegs und extrahiert die Informationen, dann bestätigt ein Mensch, bevor sie ins Buchhaltungssystem geschrieben werden. Die CNIL empfiehlt dieselbe Vorsicht: die Ausgaben eines KI-Systems nie unverändert übernehmen, die Nutzer vor dem „Automatisierungs-Bias“ warnen und regelmäßig ihre Meinung zu Nutzen und Grenzen des Systems einholen.

Wo Sie anfangen

Ein erster Test passt in vier Handgriffe:

1. 01Wählen.

   Gehen Sie von dem Einsatz aus, der am meisten kostet oder das größte Risiko birgt.

2. 02Festlegen.

   Schreiben Sie drei bezifferte Kriterien.

3. 03Sammeln.

   Tragen Sie rund zwanzig echte Beispiele mit ihren schwierigen Fällen zusammen.

4. 04Vergleichen.

   Testen Sie Ihr aktuelles Modell gegen ein kleineres.

Diese Methode stammt aus der Modellwahl für die Übersetzungskette, die wir für Palmora Property betreiben, ein Immobilienportal, das wir begleiten, wo der Anbieterwechsel die Kosten durch 60 geteilt hat.

Um dieses Urteil für Ihre eigenen Inhalte zu erhalten, enthält unser Angebot KI zum fairen Preis diesen Prüfstand: 20 bis 30 Stichproben, 3 bis 5 verglichene Modelle, ein beziffertes Urteil pro Aufgabe und die datierte und begründete Tabelle, die sagt, welches Modell für welche Aufgabe.

Häufige Fragen

Quellen

1. Ihren Fragen und Antworten zu generativer KI (neuer Tab)cnil.fr
2. Der Leitfaden von Anthropic zu Tests (neuer Tab)platform.claude.com
3. 2023 auf der NeurIPS vorgestellt (neuer Tab)arxiv.org
4. Der Seite von Anthropic zur Abschaltung seiner Modelle (neuer Tab)platform.claude.com