Human in the Loop: Bedeutung, Stufen und Freigaben für KI-Agenten

Human in the Loop bedeutet, dass ein Mensch jedes Ergebnis eines KI-Systems prüft und freigibt, bevor es wirkt, etwa bevor eine Gutschrift gebucht oder eine Antwort an einen Kunden versendet wird. Wörtlich übersetzt heißt der Begriff „Mensch in der Schleife“. Gemeint ist eine menschliche Freigabe, und die deutsche Fassung der KI-Verordnung spricht in Art. 14 von menschlicher Aufsicht.

Die von der EU-Kommission eingesetzte Hochrangige Expertengruppe für KI hat 2019 in ihren Ethik-Leitlinien drei Formen der Aufsicht unterschieden: den Eingriff in jeden Entscheidungszyklus (Human in the Loop), den Eingriff in die Gestaltung und die Überwachung des laufenden Betriebs (Human on the Loop) und die Gesamtsteuerung, also die Entscheidung, ob und wie ein System überhaupt eingesetzt wird (Human in Command). Sie hält fest, dass ein Eingriff in jeden Zyklus in vielen Fällen weder möglich noch wünschenswert ist. Im Gegenzug muss ein System nach den Leitlinien umso ausführlicher getestet und umso strenger gesteuert werden, je weniger Aufsicht ein Mensch darüber ausüben kann.

In einem Workflow mit KI-Agenten ist die Stufe deshalb eine Einstellung je Fallkategorie und keine Grundsatzfrage. Dieselbe Reklamationsbearbeitung kann eine Nachforderung fehlender Belege ohne Einzelfreigabe versenden, eine Ablehnung aber nie ohne Entscheidung der Sachbearbeitung.

Die drei Stufen unterscheiden sich darin, wann ein Mensch eingreift. Bei Human in the Loop geschieht das vor jeder Wirkung, bei Human on the Loop während des laufenden Betriebs über Stichproben, Kennzahlen und Alarme, und bei Human out of the Loop nicht mehr im einzelnen Fall, sondern nur noch über Regeln und regelmäßige Auswertungen.

Damit entscheidet die Stufe, welcher Fehler den Kunden erreicht. Bei Human in the Loop fängt die Freigabe einen falschen Vorschlag ab, bevor er wirkt. Bei Human on the Loop wirkt er zuerst und wird über eine Stichprobe oder einen Alarm gefunden, deshalb passt diese Stufe nur zu Fällen, deren Wirkung sich korrigieren lässt.

Legen Sie die Stufe für jede Kombination aus Fallkategorie und Aktion fest und senken Sie sie erst, wenn Zahlen aus dem Schattenbetrieb das für genau diese Kategorie belegen. Im Schattenbetrieb erstellt der Agent Vorschläge für echte, laufende Fälle, während weiterhin Menschen entscheiden; Begriffe wie Schattenbetrieb, Konfidenzschwelle und Dunkelverarbeitung definiert das Glossar zu KI-Agenten und EU AI Act.

Die Abnahmekriterien stehen fest, bevor der Schattenbetrieb beginnt. Je Kategorie genügen drei Größen, nämlich der Anteil unverändert übernommener Vorschläge, der Anteil mit inhaltlicher Korrektur und die Zahl kritischer Abweichungen wie ein falscher Betrag oder ein falscher Kunde. Dazu kommt eine Mindestzahl an Fällen, damit eine seltene Kategorie nicht auf Basis weniger Beispiele freigegeben wird.

Über die Ausweitung entscheidet die oder der Workflow-Verantwortliche gemeinsam mit der Rolle, die das Risiko trägt, bei Gutschriften also mit dem Controlling. Jede Ausweitung bleibt umkehrbar, denn steigt die Korrekturquote im Betrieb über die vereinbarte Grenze, fällt die Kategorie auf die vorherige Stufe zurück. Wie der Weg vom Assessment bis zum Schattenbetrieb in 90 Tagen verläuft, beschreibt die Seite Arbeitsweise mit den ersten 90 Tagen.

Die Vorlage wendet das auf die Reklamationsbearbeitung mit KI-Agenten an, in der der Agent die Fallakte zusammenstellt und eine Lösung mit Begründung vorschlägt. Fallzahlen und Quoten darin sind Beispielwerte, die Sie vor dem Schattenbetrieb durch eigene ersetzen.

Die KI-Verordnung schreibt Human in the Loop weder als Begriff noch für jedes System vor. Menschliche Aufsicht nach Art. 14 und die Betreiberpflichten nach Art. 26 gelten für Hochrisiko-KI-Systeme, für Systeme nach Anhang III ab dem 2. Dezember 2027 und für Produkte nach Anhang I ab dem 2. August 2028; diese Termine hat die Verordnung (EU) 2026/1744 festgelegt.

Art. 14 regelt die Gestaltung des Systems und richtet sich damit zuerst an den Anbieter. Das System muss den aufsichtführenden Personen die fünf Fähigkeiten aus Art. 14 Abs. 4 geben. Wer einen Agenten für den eigenen Betrieb entwickeln lässt und selbst in Betrieb nimmt, klärt deshalb früh, ob er nach Art. 3 Nr. 3 und Nr. 11 auch als Anbieter gilt.

Art. 26 verpflichtet den Betreiber, das System nach der Betriebsanleitung zu verwenden und die Aufsicht Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis zu übertragen. Er sorgt außerdem, soweit er sie kontrolliert, für zweckentsprechende und ausreichend repräsentative Eingabedaten, überwacht den Betrieb, bewahrt automatisch erzeugte Protokolle mindestens sechs Monate auf und informiert Beschäftigte und ihre Vertretung vor dem Einsatz am Arbeitsplatz. Ob ein Workflow hochriskant ist, ordnet der AI-Act-Check für einzelne Workflows in einer ersten Orientierung ein; die verbindliche Einstufung liegt bei Ihrer Compliance oder Rechtsberatung.

Für alle anderen Workflows, und das sind die meisten Agenten in Service, Angebotswesen und Reklamationsbearbeitung, ist dieselbe Mechanik gutes Design. Wer Freigabe, Eingriff und Abschaltung von Anfang an so baut, muss wenig nachrüsten, falls ein Workflow später anders eingestuft wird.

In den hier beschriebenen Workflows bleiben Ablehnungen und Zahlungen menschliche Entscheidungen. Sie haben erhebliche Folgen für Kundenbeziehung und Finanzen. Zusätzlich begrenzt Art. 22 DSGVO ausschließlich automatisierte Entscheidungen, die gegenüber natürlichen Personen rechtlich oder ähnlich erheblich wirken. Ausnahmen und die jeweils erforderlichen Schutzmaßnahmen sind im Einzelfall rechtlich zu prüfen.

Eine menschliche Freigabe muss eine tatsächliche Prüfung sein. Die Person braucht Informationen, Befugnis und Fachkenntnis, um den Vorschlag zu ändern oder abzulehnen. Ein bloßer Bestätigungsklick genügt dafür nicht. Der Europäische Datenschutzausschuss hat die entsprechenden Leitlinien der Artikel-29-Datenschutzgruppe bestätigt.

Der EuGH hat im Urteil C-634/21 vom 7. Dezember 2023 auch einen automatisiert erstellten Bonitätswert als Entscheidung eingeordnet, wenn ein Dritter seine Vertragsentscheidung maßgeblich davon abhängig macht. Die rechtliche Bewertung Ihres Workflows gehört deshalb früh in die Planung. Auch außerhalb von Art. 22 sprechen Fehlerfolgen und Missbrauchsrisiken für die Freigabe kritischer Aktionen durch Menschen.

Automatisierungsbias ist die Neigung, der Ausgabe eines Systems automatisch oder übermäßig zu vertrauen, und Art. 14 Abs. 4 Buchst. b der KI-Verordnung nennt ihn ausdrücklich. Er wächst mit der Qualität des Agenten, denn je seltener ein Vorschlag falsch ist, desto seltener findet die prüfende Person beim Blick in die Belege etwas, und desto eher unterbleibt dieser Blick.

Ein messbares Warnsignal ist eine Prüfzeit je Fall, die kürzer ist als die Zeit, die das Lesen der Belege braucht. Solche Kennzahlen gehören in den monatlichen Kennzahlenvergleich, den der Managed Run für KI-Workflows im Betrieb je Workflow vorsieht, ausgewertet auf Team- und Kategorieebene und nicht als Leistungsbewertung einzelner Beschäftigter.

Gegen den Effekt hilft Gestaltung mehr als ein Appell an die Sorgfalt, und fünf Maßnahmen setzen direkt an der Mechanik der Freigabe an.

Ein Freigabeprotokoll, das je Fall festhält, wer was wann freigegeben oder korrigiert hat, kann die Mitbestimmung des Betriebsrats auslösen. Nach § 87 Abs. 1 Nr. 6 BetrVG bestimmt der Betriebsrat bei der Einführung und Anwendung technischer Einrichtungen mit, die dazu bestimmt sind, Verhalten oder Leistung der Beschäftigten zu überwachen. Nach der Rechtsprechung des Bundesarbeitsgerichts genügt es, dass eine Einrichtung dazu objektiv geeignet ist, und auf die Absicht des Arbeitgebers kommt es nicht an (Beschluss vom 13. Dezember 2016, 1 ABR 7/15).

Dazu kommt § 90 Abs. 1 Nr. 3 BetrVG, nach dem der Arbeitgeber den Betriebsrat rechtzeitig über die Planung von Arbeitsverfahren einschließlich des Einsatzes von Künstlicher Intelligenz unterrichtet, und für Hochrisiko-Systeme die Informationspflicht nach Art. 26 Abs. 7 der KI-Verordnung. Ob und wie weit die Mitbestimmung im konkreten Workflow reicht, beurteilt Ihre arbeitsrechtliche Beratung. Für den Zeitplan zählt, dass die Abstimmung vor dem Schattenbetrieb beginnt, weil dort die ersten Protokolle entstehen.

Für eine Betriebsvereinbarung sollten drei Punkte vorab feststehen, nämlich der Zweck des Protokolls, etwa Qualität und Nachvollziehbarkeit des Workflows, der Kreis der Zugriffsberechtigten und die Aufbewahrungsdauer. Kennzahlen zum Automatisierungsbias lassen sich auf Team- und Kategorieebene auswerten, sodass kein Bericht einzelne Beschäftigte bewertet.