Automatisierte Entscheidung: Darf KI allein entscheiden?

Eine Software kann Bewerbungen sortieren, ein Kreditrisiko bewerten, einen Preis anpassen oder einen Mitarbeiter als „leistungsschwach“ melden. Die Frage ist nicht mehr, ob sie dazu fähig ist, sondern ob eine automatisierte Entscheidung dieser Art ohne eine Person auskommen kann, die sie freigibt.

Beide Lager, die sich gegenüberstehen, haben jeweils ein starkes Argument, und das Recht hat bereits begonnen zu entscheiden, in Europa wie in Kalifornien. Für ein mittelständisches Unternehmen, das sein Personalwesen oder seine Preise automatisiert, ist die Frage sehr konkret: welche Entscheidungen man der Software überlässt und welche man von jemandem freigeben lässt.

Kurz gesagt

• Seit 2018 gibt die DSGVO das Recht, keiner ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden, mit geregelten Ausnahmen.
• Für Einstellung, Personalverwaltung und Kredit gelten die besonderen Pflichten für Hochrisiko-Systeme der europäischen KI-Verordnung ab dem 2. Dezember 2027.
• In Kalifornien verbietet ein am 30. September 2026 unterzeichnetes Gesetz ab dem 1. Juli 2027, allein auf Grundlage eines automatisierten Systems zu sanktionieren oder zu kündigen.
• Für ein mittelständisches Unternehmen beginnt das Vorgehen mit einer Bestandsaufnahme der automatischen Entscheidungen und dann mit einer nachvollziehbaren Freigabe derer, die eine Person betreffen.

Position 1: Der Algorithmus ist gerechter als ein gehetzter Mensch

Die Befürworter automatisierter Entscheidungen haben gute Argumente. Ein müder oder gehetzter Mensch beurteilt zwei identische Akten nicht gleich. Ein System wendet dieselben Kriterien auf alle an, zu jeder Uhrzeit, ohne Günstlingswirtschaft oder Sympathie. Es kann Tausende von Kreditanträgen in wenigen Sekunden bearbeiten, wofür ein Team Wochen bräuchte, und es hinterlässt eine Spur jedes verwendeten Kriteriums.

Sie fügen hinzu, dass menschliche Voreingenommenheit selten dokumentiert ist, während sich die eines Algorithmus messen lässt: Man kann ein Modell an Tausenden fiktiver Fälle testen und korrigieren, was entgleist, was man mit einem Personalverantwortlichen nie tut.

Position 2: Eine Entscheidung, die ein Leben berührt, muss erklärbar sein

Dagegen lässt sich das Argument in einem Satz fassen: Ein gekündigter Mitarbeiter oder ein Kunde, dem ein Kredit verweigert wird, muss verstehen können, warum, und die Entscheidung vor jemandem anfechten können, der sie ändern kann. Ein Sprachmodell kann nicht immer erklären, was es zu einer Antwort geführt hat, und ein auf früheren Entscheidungen trainiertes System reproduziert deren Voreingenommenheiten, mit dem Anschein der Neutralität.

Dieses Lager betont auch die Gefahr der verwässerten Verantwortung: Wenn „das System entschieden hat“, fühlt sich niemand mehr verantwortlich. Der gehetzte Vorgesetzte aus Position 1 hat wenigstens einen Namen.

Was das Recht schon sagt

In Europa, seit 2018. Artikel 22 der Datenschutz-Grundverordnung bestimmt, hier in der englischen Sprachfassung:

Der Text sieht drei Ausnahmen vor: Die Entscheidung ist für den Abschluss oder die Erfüllung eines Vertrags erforderlich, sie ist durch Unionsrecht oder das Recht eines Mitgliedstaats zugelassen, oder sie beruht auf der ausdrücklichen Einwilligung der Person. Beim Vertrag und bei der Einwilligung muss das Unternehmen mindestens das Recht gewährleisten, das Eingreifen einer Person zu erwirken, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten; wenn das Gesetz die Entscheidung zulässt, muss es selbst angemessene Maßnahmen vorsehen.

Die europäische KI-Verordnung. Anhang III der KI-Verordnung stuft als Hochrisiko-Systeme diejenigen ein, die der Einstellung und Auswahl von Bewerbern dienen, die Entscheidungen über Beförderung oder Kündigung treffen, die die Leistung von Beschäftigten überwachen und bewerten, und die die Kreditwürdigkeit von Personen prüfen oder ihre Kreditpunktzahl ermitteln, mit Ausnahme der Erkennung von Finanzbetrug. Die besonderen Anforderungen und Pflichten für diese Systeme gelten ab dem 2. Dezember 2027: Die Verordnung (EU) 2026/1744 vom 8. Juli 2026 hat diese Frist verschoben, die ursprünglich auf den 2. August 2026 festgelegt war. Ein Arbeitgeber, der eines dieser Systeme einsetzt, muss dann die Arbeitnehmervertreter und die betroffenen Beschäftigten informieren, bevor er es in Betrieb nimmt (Artikel 26). In Artikel 86 sieht der Text zudem ein Recht der von einer Entscheidung betroffenen Person vor, klare und aussagekräftige Erklärungen zur Rolle des KI-Systems im Entscheidungsverfahren und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten.

In Kalifornien, ein Gesetz vom September 2026. Der Gouverneur hat am 30. September 2026 den „No Robo Bosses Act“ unterzeichnet, so von seinem Verfasser getauft, und der offizielle Text des Gesetzes SB 947 sieht vor, dass es ab dem 1. Juli 2027 gilt. Es verbietet einem Arbeitgeber, sich allein auf ein automatisiertes Entscheidungssystem zu stützen, um einen Mitarbeiter zu sanktionieren oder zu kündigen. Stützt sich der Arbeitgeber hauptsächlich auf ein solches System, muss eine Person die Entscheidung anhand der verwendeten Daten oder anderer Elemente bestätigen, etwa der Beurteilungen oder der Personalakte des Mitarbeiters; gelingt ihr das nicht, darf das Ergebnis des Systems nicht verwendet werden. Der Mitarbeiter erhält außerdem, wenn ihm die Entscheidung mitgeteilt wird, eine schriftliche Mitteilung, die angibt, dass das System sie hauptsächlich begründet hat und dass eine Person sie geprüft hat.

Und die Preise? Ein für alle angezeigter Preis ist in der Regel keine Einzelentscheidung im Sinne der DSGVO. Ein personalisierter Preis, für eine Person anhand ihres Profils berechnet, kommt dem näher und fällt auch unter das Verbraucherrecht. Das ist der am wenigsten geklärte der drei Bereiche.

Was wir davon halten

Wir denken, dass beide Positionen in je einem Punkt recht haben. Der Algorithmus ist oft konsequenter als ein Mensch, und das ist ein echtes Argument, ihn zu nutzen. Doch Konsequenz ist nicht Gerechtigkeit: Ein System kann vollkommen konsequent im Irrtum sein, bei Tausenden von Akten gleichzeitig. Und eine Entscheidung, die man weder erklären noch vor jemandem anfechten kann, ist nicht akzeptabel, wenn sie einen Arbeitsplatz oder einen Kredit betrifft.

Die Regel, die wir vertreten, passt in eine Zeile: Eine Person gibt alles frei, was das Unternehmen gegenüber jemandem verpflichtet oder Geld betrifft. Das System bereitet vor, sortiert, meldet, schlägt vor; eine benannte Person entscheidet und kann sagen, warum. Unser eigener Agent für die Erfassung von Ausgaben, seit Juli 2026 im Produktivbetrieb, folgt diesem Schema:

Interne Aufgaben ohne Tragweite für eine Person können dagegen automatisch laufen, mit einer Prüfung per Stichprobe.

Was uns umstimmen würde: Systeme, die jede Entscheidung nachprüfbar erklären können, von einem unabhängigen Dritten geprüft, und ein wirksamer Rechtsbehelf hin zu einem Menschen. So weit sind wir bei Sprachmodellen nicht.

Was das für ein Unternehmen konkret ändert

Das Vorgehen besteht aus fünf Schritten:

1. 01Die automatisierten Entscheidungen erfassen.

   Listen Sie auf, was Ihre Werkzeuge bereits allein entscheiden: Mahnungen, Kontosperrungen, Bewertung von Interessenten im CRM, Sortierung von Bewerbungen, gewährte Rabatte. Die Übung kann automatische Entscheidungen zutage fördern, die niemand formalisiert hatte.

2. 02Nach Tragweite einordnen.

   Eine Prioritätsnote für einen Interessenten hat nicht dasselbe Gewicht wie eine Kreditablehnung oder eine Leistungswarnung zu einem Mitarbeiter. Was eine Person erheblich beeinträchtigt, geht über eine menschliche Freigabe.

3. 03Die Freigabe dokumentieren.

   Halten Sie fest, wer freigegeben hat, auf welcher Grundlage, an welchem Datum. In einem gut gepflegten CRM ist das ein Feld und ein Verlauf, kein Großprojekt. Für die Wahl des Werkzeugs vergleicht unser Leitfaden zur Wahl zwischen Twenty, Dolibarr und Odoo die drei, und die Rubrik CRM und Kundendaten behandelt auch die Übernahme bestehender Daten.

4. 04Erklärung und Rechtsbehelf vorsehen.

   Bereiten Sie für jede sensible Entscheidung die Antwort auf die Frage „Warum?“ vor und einen einfachen Weg, sie anzufechten. Das verlangt die DSGVO bereits, und das sieht die KI-Verordnung für Hochrisiko-Anwendungen vor. Unser Leitfaden AI Act und DSGVO für ein mittelständisches Unternehmen erläutert, was diese Anwendungen dem einsetzenden Unternehmen auferlegen.

5. 05Vor dem Einsatz informieren.

   Betrifft ein Werkzeug die Personalverwaltung, informieren Sie die Arbeitnehmervertreter und die betroffenen Beschäftigten vor der Inbetriebnahme und schulen Sie die Führungskräfte, die es nutzen, darin, seine Fehler zu erkennen. Automatisierungen, die Aufgaben wegfallen lassen, werfen auch die Frage auf, wie Berufseinsteiger lernen, die wir in unserer Analyse über KI und den ersten Job junger Menschen behandeln.

Wo man anfängt

Das Recht verbietet nicht zu automatisieren: Es lehnt ab, dass eine Maschine allein über etwas entscheidet, das auf dem Leben einer Person lastet. Der erste Schritt ist also die oben beschriebene Bestandsaufnahme, dann ein Freigabefeld und ein Verlauf in dem Werkzeug, in dem diese Entscheidungen fallen, oft dem CRM. Kann Ihres nicht sagen, wer was freigegeben hat, deckt unsere Einführung eines in Ihrem Vokabular eingerichteten CRM diese Einrichtung und die Übernahme Ihrer bestehenden Daten ab. Um zu wählen, was man zuerst automatisiert, sehen Sie sich die Rubrik Automatisierung und Bots an.

Häufige Fragen

Quellen

1. Datenschutz-Grundverordnung (neuer Tab)eur-lex.europa.eu
2. KI-Verordnung (neuer Tab)eur-lex.europa.eu
3. Verordnung (EU) 2026/1744 vom 8. Juli 2026 (neuer Tab)eur-lex.europa.eu
4. Offizielle Text des Gesetzes SB 947 (neuer Tab)leginfo.legislature.ca.gov