KI-Agent in Produktion: von der Demo zum Produkt

Ein KI-Agent in Produktion hat mit der Demo, die zu seiner Einführung geführt hat, kaum noch etwas gemein: Die Demo zeigt, was er einmal kann, vor jemandem, der zusieht; die Produktion verlangt, dass er es jeden Tag tut, ohne Zuschauer. Dieser Leitfaden unserer Rubrik KI im Unternehmen, privat und zu fairen Kosten beschreibt, was den Übergang vom einen zum anderen ausmacht, mit vier öffentlichen Fällen und dem, was wir selbst betreiben. Zur Definition lesen Sie zuerst, was ein KI-Agent ist und was er nicht ist.

Kurz gesagt

• Ein Agent wird zum Produkt mit einer verantwortlichen Person, schriftlichen Grenzen und einer Ausgangsmessung.
• Bei Klarna hat das vorrangige Ziel der Kostensenkung die Qualität verschlechtert, wie der CEO einräumt.
• Air Canada wurde für die Aussagen ihres Chatbots haftbar gemacht.
• Bei Anthropic haben sich Agenten mit Verfahren verbessert, ohne auf Menschen verzichten zu können.
• Bei uns bereiten Agenten vor, und ein Mensch gibt frei, was verpflichtet oder veröffentlicht wird.

Was unterscheidet einen Agenten in Produktion von einer Demo?

Eine Demo beantwortet eine Frage: Funktioniert es? Die Produktion fügt zwei hinzu: Wer kümmert sich, wenn der Agent sich irrt, und woran erkennt man, dass er besser ist als vorher? Die Antworten passen in sieben Elemente, die vor dem Start schriftlich festzulegen sind:

1. eine benannte verantwortliche Person auf Fachseite, die für die Ergebnisse einsteht;
2. ein schriftlicher Umfang: was der Agent allein tut, was er freigeben lässt, was er nie tut;
3. ein Budget pro Aufgabe, mit sauberem Stopp bei Erreichen;
4. eine Ausgangsmessung des Zeitaufwands und der Fehler;
5. eine Eskalation: Der Nutzer weiß, wie er einen Menschen erreicht, der Agent weiß, wann er übergibt;
6. Versionen des Modells und der Anweisungen, die sich zurücknehmen lassen;
7. ein Protokoll dessen, was der Agent gelesen, entschieden und getan hat.

Der Leitfaden Building effective agents von Anthropic, dem Hersteller der Claude-Modelle, beschreibt zwei davon (unsere Übersetzung): Ein Agent kann pausieren, „um an Kontrollpunkten oder bei Hindernissen menschliches Feedback einzuholen“, und er braucht „Abbruchbedingungen (etwa eine maximale Zahl von Iterationen)“.

Was zeigt der Fall Klarna über die Servicequalität?

Das Fachmedium CX Dive hat den Fall im Mai 2025 nachgezeichnet. Im Februar 2024 schätzte der Zahlungsdienstleister Klarna, dass sein KI-Assistent die Arbeit von 700 Kundenberatern leiste. Er legte auch die Bilanz des ersten Monats vor:

Im Mai 2025 sagte Klarna-CEO Sebastian Siemiatkowski gegenüber Bloomberg, die Kosten seien offenbar ein „zu vorherrschendes Bewertungskriterium“ gewesen, mit „geringerer Qualität“ als Folge. Seitdem stellt Klarna wieder Berater ein: Der Kunde müsse wissen, so der CEO, dass es „immer einen Menschen gibt, wenn Sie das möchten“.

Der Assistent ist geblieben: Laut einer Sprecherin bearbeitete er weiterhin zwei Drittel der Anfragen, mit seit dem Start um 82 % verbesserten Antwortzeiten und 25 % weniger wiederkehrenden Problemen. Die Lehre betrifft die Messung: Ein Agent, der zuerst nach seinen Einsparungen beurteilt wird, wird auf Einsparungen eingestellt, und Qualität lässt sich nur verteidigen, wenn man sie ebenfalls misst.

Wer steht für die Aussagen eines KI-Assistenten ein? Der Fall Air Canada

Anfang 2024 entschied ein Tribunal in British Columbia, Kanada, einen Rechtsstreit, den die Kanzlei McCarthy Tétrault in einer Notiz vom 19. Februar 2024 zusammenfasst. Der Chatbot von Air Canada hatte einem Fluggast zu verstehen gegeben, er könne den ermäßigten Tarif für Trauerfälle nach dem Kauf beantragen, während die Fluggesellschaft einen vorherigen Antrag verlangte. Air Canada argumentierte, ihr Chatbot sei eine eigenständige juristische Person, verantwortlich für seine eigenen Handlungen. Das Tribunal wies das Argument zurück und machte sie haftbar: Das Unternehmen steht „für alle Informationen auf seiner Website“ ein, ob sie „von einer statischen Seite oder einem Chatbot“ stammen, und es hatte keine angemessene Sorgfalt walten lassen, um die Richtigkeit seines Chatbots sicherzustellen.

Ein Chatbot, der informiert, verpflichtet das Unternehmen bereits; ein Agent, der handelt, verpflichtet es noch mehr. Wer mit der Öffentlichkeit spricht, muss sich auf Quellen stützen, die Sie beherrschen, und sagen, wenn er etwas nicht weiß, wie unser KI-Assistent für Ihre Dokumente. Was eine KI gegenüber einer Person allein entscheiden darf, hat auch rechtliche Grenzen: siehe Automatisierte Entscheidung: Darf KI allein entscheiden?.

Was lehrt uns Project Vend, der von Agenten geführte Laden?

2025 vertraute Anthropic gemeinsam mit der Firma Andon Labs einen kleinen Automatenladen in seinen Büros einem Agenten namens Claudius an. Nach einer gescheiterten ersten Phase, die wir in was ein KI-Agent nicht ist schildern, beschreibt die zweite, veröffentlicht am 18. Dezember 2025, den Versuch der Sanierung.

Das Team wechselte das Modell, fügte Werkzeuge hinzu, darunter ein CRM, und bat Claudius, bei jeder Produktanfrage Preise und Lieferzeiten mit seinen Recherchewerkzeugen zu überprüfen, was „sehr geholfen“ habe. Ein CEO-Agent, Seymour Cash, kam hinzu: Nach seiner Ankunft sank die Zahl der Rabatte um etwa 80 %, die der verschenkten Artikel um die Hälfte. Doch er genehmigte die Kulanzgesten, die Claudius für Kunden erbat, etwa achtmal so oft, wie er sie ablehnte: Wenn der Laden begann, Geld zu verdienen, dann vielleicht „trotz des CEO und nicht dank ihm“. Im Verlauf dieser Phase verschwanden die Wochen mit negativer Marge weitgehend.

Die Passage, die wir festhalten:

Ein Agent in Produktion profitiert davon, die Verfahren eines neuen Mitarbeiters zu erhalten; ein überwachender Agent ersetzt sie nicht. Claudius hat sich verbessert, so das Fazit von Anthropic, aber „er ist in vielen wichtigen Punkten weiterhin verwundbar“, und die Agenten brauchten weiterhin viel menschliche Unterstützung.

Wie hat die britische Verwaltung ihr Werkzeug vor der Freigabe bewertet?

2025 testete die britische Regierung Consult, ein Werkzeug generativer KI, das Antworten auf öffentliche Konsultationen auswertet. Laut ihrer Pressemitteilung vom 14. Mai 2025 arbeitete das Werkzeug die Themen aus mehr als 2.000 Antworten auf eine schottische Konsultation heraus; Fachleute prüften und verfeinerten sie, dann ordnete das Werkzeug jede Antwort ein. Es stimmte „in den meisten Fällen“ mit der menschlichen Analyse überein, mit einem F1-Wert von 0,76, einem gängigen Maß für Übereinstimmung. Die Regierung schätzt, dass es jährlich etwa 75.000 Analysetage einsparen könnte, also 20 Millionen Pfund Personalkosten: eine Hochrechnung für ein Werkzeug, das sich „noch in der Erprobung“ befindet.

Consult ist kein Agent, aber sein Vorgehen gilt für jeden Agenten: ihn an menschlicher Arbeit messen, an echten Fällen, bevor man ihn freigibt, und Gemessenes von Geschätztem unterscheiden.

Was betreiben wir selbst?

Unsere Beispiele stammen aus unseren internen Werkzeugen und einem Portal, das wir für einen Kunden betreiben: Gestaltungsentscheidungen, keine gemessenen Gewinne.

Ein Agent im Messenger des Teams

Man schickt das Foto eines Belegs über Telegram; unser Agent für die Buchhaltungserfassung entnimmt Lieferant, Betrag und Mehrwertsteuer und legt den Beleg ab. Kontrollen prüfen Dubletten, die Stimmigkeit der Beträge und eine Vertrauensschwelle vor jeder Buchung; es bleibt ein menschlicher Handgriff, den Datensatz per Knopfdruck freizugeben. Seit Juli 2026 in Produktion, gehört er zu den Werkzeugen, die wir selbst betreiben, und lebt im Messenger, wie unsere Telegram- oder WhatsApp-Bots für Fachabläufe.

Eine SEO-Engine, die vorbereitet, ein Mensch, der veröffentlicht

Die Suchmaschinenoptimierung dieser Website folgt derselben Aufteilung.

Diese Prüfregel geht auf drei erfundene Inhalte zurück, die ein Modell auf einer Website veröffentlicht hatte, die wir für einen Kunden betreiben.

Unser erster unbeaufsichtigter Durchgang am 30. August 2026 brachte nichts hervor: Der steuernde Agent stellte eine Frage, statt zu entscheiden, und niemand war da, um zu antworten. Seine Anweisung verbietet seitdem jede Frage unterwegs: Der Moment des Menschen ist die Prüfung.

Eine Übersetzung, die den Anbieter gewechselt hat

Bei Palmora Property, einem Immobilienportal, das wir betreiben, ist die Übersetzung in sechs Sprachen keinem Agenten anvertraut: Sie ist ein KI-Schritt in einer geregelten Kette, mit Glossar, persistentem Cache und Paritätskontrolle. Der Anbieterwechsel hat die Kosten dort durch 60 geteilt, und 95 % der Segmente kommen aus dem Cache, ohne die KI erneut aufzurufen. Isolieren Sie den KI-Schritt so: An dem Tag, an dem ein günstigeres Modell genügt, lässt er sich austauschen, ohne den Rest anzufassen.

Keines dieser Werkzeuge hat einen breiten Auftrag erhalten: Jedes hat eine eng umrissene Aufgabe, angesiedelt in einem Werkzeug, das das Team bereits nutzt.

Wie bewertet man einen Agenten, bevor man ihn für das ganze Team freigibt?

Die Bewertung erfolgt in vier Schritten, darunter zwei Vorkehrungen speziell für Agenten:

1. 01Testen.

   Probieren Sie mehrere Modelle an Ihren echten Fällen aus, schwierige eingeschlossen: Unser Leitfaden zur Bewertung eines KI-Modells vor der Produktion liefert die Methode, und unser Angebot KI zum fairen Preis vergleicht 3 bis 5 Modelle an 20 bis 30 Proben Ihrer Inhalte.

2. 02Die Schwelle festlegen.

   Vereinbaren Sie mit der Fachseite die akzeptable Fehlerquote.

3. 03Schrittweise freigeben.

   Beginnen Sie mit ein oder zwei Personen, die die Aufgabe kennen, mit einer Überprüfung nach 30 Tagen.

4. 04Beziffern.

   Berechnen Sie die Kosten pro Aufgabe, wiederholte Modellaufrufe eingeschlossen, wie es unser Leitfaden zu den Kosten von KI im Unternehmen erklärt.

Wo Sie anfangen

Prüfen Sie zuerst, ob Sie einen Agenten brauchen: Anthropic empfiehlt, mehrstufige agentische Systeme nur dann hinzuzufügen, wenn einfachere Lösungen nicht ausreichen, und unser Artikel Automatisierung ohne KI: wenn eine Regel genügt hilft beim Sortieren. Ist der Agent gerechtfertigt, benennen Sie die verantwortliche Person und schreiben Sie seinen Umfang auf, bevor die erste Codezeile entsteht: KI-Projekte, die sich auszahlen, sind zuerst Organisationsprojekte, wie unsere Analyse zur Rentabilität von KI im Unternehmen zeigt. Um die Aufgabe zu wählen, hilft unser Audit der digitalen und KI-Reife dabei, zu wissen, was man automatisiert, bevor man Geld ausgibt, mit einem schriftlichen GO oder NOGO pro Vorhaben. Für alles Weitere, von den Daten über die Modellwahl bis zu den Kosten, nimmt unser Leitfaden zur Einführung von KI im Unternehmen die Entscheidungen der Reihe nach.

Häufige Fragen

Quellen

1. Building effective agents (neuer Tab)anthropic.com
2. CX Dive hat den Fall im Mai 2025 nachgezeichnet (neuer Tab)customerexperiencedive.com
3. In einer Notiz vom 19. Februar 2024 zusammenfasst (neuer Tab)mccarthy.ca
4. Zweite, veröffentlicht am 18. Dezember 2025 (neuer Tab)anthropic.com
5. Pressemitteilung vom 14. Mai 2025 (neuer Tab)gov.uk
6. Die Genehmigung eines Menschen zu verlangen, bevor ein Agent ein bestimmtes Werkzeug nutzt (neuer Tab)docs.n8n.io