• KI-Umsetzung

Human in the Loop: Wo braucht KI menschliche Kontrolle?

Wenn KI Aufgaben übernimmt oder Entscheidungen vorbereitet, klingt „Human in the Loop“ zunächst nach einer einfachen Sicherheitsregel: Ein Mensch schaut noch einmal drauf.

So einfach ist es nicht.

Eine menschliche Kontrollinstanz verbessert einen KI-Prozess nicht automatisch. Entscheidend ist, was der Mensch kontrollieren soll, wann er eingreifen muss, welche Informationen dafür zur Verfügung stehen und ob wie mit Fehlern umgegangen wird.

Human in the Loop ist deshalb weniger eine einzelne technische Funktion als eine Frage der Gestaltung des gesamten Prozesses.

Kurz gesagt

Human in the Loop bedeutet, dass Menschen an definierten Stellen in einen KI-gestützten Prozess eingebunden sind – beispielsweise um Ergebnisse zu prüfen, Entscheidungen zu treffen, unsichere Fälle zu bearbeiten oder bei Fehlern einzugreifen.

Wie viel menschliche Kontrolle sinnvoll oder erforderlich ist, hängt vom Anwendungsfall und vom Risiko einer falschen KI-Ausgabe ab.

Eine automatische Dokumentenzuordnung kann beispielsweise anders abgesichert werden als eine KI-Ausgabe, die in eine Entscheidung mit erheblichen Auswirkungen auf eine Person einfließt.

Die entscheidende Frage lautet deshalb nicht „Muss ein Mensch beteiligt sein?“, sondern: Welche Rolle muss ein Mensch in diesem konkreten Prozess übernehmen?

Human in the Loop kann sehr unterschiedlich aussehen

Zwischen vollständig manueller Bearbeitung und vollständiger Automatisierung liegen viele Möglichkeiten.

Eine KI kann einen Vorschlag erzeugen, den ein Mensch bestätigt. Sie kann Routinefälle automatisch verarbeiten und nur unklare Fälle weitergeben. Sie kann Informationen aufbereiten, während die eigentliche Entscheidung vollständig beim Menschen bleibt. Oder sie kann einen Prozess weitgehend automatisiert durchführen, während Menschen lediglich überwachen und bei Auffälligkeiten eingreifen.

Systeme können dabei autonom entscheiden, Entscheidungen an menschliche Fachleute weitergeben oder einem Menschen als zusätzliche Informationsquelle dienen. Manche Anwendungen benötigen keine menschliche Aufsicht, andere ausdrücklich schon.

Human in the Loop ist also kein festes Verfahren. Es ist eine Designentscheidung.

Wo menschliche Kontrolle besonders wichtig wird

Ein wichtiges Kriterium ist die mögliche Folge eines Fehlers.

Wird ein Dokument falsch einer Kategorie zugeordnet und kann diese Zuordnung vor der weiteren Verarbeitung unkompliziert korrigiert werden, ist das Risiko anders gelagert als bei einer KI-gestützten Empfehlung, die Auswirkungen auf Rechte, Leistungen oder andere wesentliche Interessen einer Person haben kann.

Weitere Fragen sind:

  • Wie zuverlässig arbeitet das System bei der konkreten Aufgabe?
  • Kann ein Fehler später erkannt und korrigiert werden?
  • Wie groß ist der mögliche Schaden einer falschen Ausgabe?
  • Wie eindeutig lässt sich feststellen, wann das System unsicher ist?
  • Benötigt die Bewertung des Ergebnisses besonderes Fachwissen?
  • Und gibt es rechtliche oder organisatorische Vorgaben, die eine menschliche Beteiligung verlangen?

Aus diesen Faktoren lässt sich ableiten, an welcher Stelle menschliche Kontrolle tatsächlich einen Unterschied macht.

Kontrolle muss mehr sein als ein Klick auf „Bestätigen“

Ein Mensch im Prozess schafft nur dann zusätzliche Sicherheit, wenn er eine KI-Ausgabe tatsächlich beurteilen kann.

Dafür muss klar sein, was das System kann und wo seine Grenzen liegen. Die kontrollierende Person benötigt ausreichende Informationen, Fachkenntnis und Zeit. Und sie muss die Möglichkeit haben, eine Ausgabe zu hinterfragen, zu korrigieren oder vollständig zurückzuweisen.

Genau hier entsteht ein eigenes Risiko: Menschen können dazu neigen, einer automatisiert erzeugten Empfehlung zu stark zu vertrauen – insbesondere dann, wenn das System häufig plausible oder korrekte Ergebnisse liefert.

Der EU AI Act greift dieses Problem für Hochrisiko-KI-Systeme ausdrücklich auf. Die für menschliche Aufsicht verantwortlichen Personen sollen unter anderem die Fähigkeiten und Grenzen des Systems verstehen, dessen Betrieb überwachen, Ausgaben angemessen interpretieren und sich der Gefahr einer übermäßigen Abhängigkeit von automatisierten Ergebnissen – dem sogenannten Automation Bias – bewusst sein. Sie müssen außerdem in der Lage sein, eine Ausgabe zu ignorieren, zu übersteuern oder das System gegebenenfalls zu stoppen.

Nicht jeder Vorgang braucht dieselbe Kontrolle

Wenn jeder einzelne KI-Schritt vollständig manuell überprüft werden muss, kann der Automatisierungsvorteil schnell verloren gehen.

Deshalb kann es sinnvoll sein, Kontrollen nach Risiko und Unsicherheit zu differenzieren.

Ein System zur Datenextraktion könnte beispielsweise eindeutige Werte automatisiert übernehmen und nur Fälle mit geringer Sicherheit zur Prüfung vorlegen. Bei einer Dokumentenklassifizierung könnte eine manuelle Kontrolle dort vorgesehen werden, wo eine falsche Zuordnung erhebliche Folgen hätte oder das Modell keine ausreichend eindeutige Klassifizierung liefern kann.

In anderen Anwendungsfällen kann dagegen eine vollständige menschliche Entscheidung notwendig sein, während die KI lediglich Informationen vorbereitet oder einen Vorschlag liefert.

Die geeignete Kontrollstufe ergibt sich also nicht allein aus der Tatsache, dass KI eingesetzt wird, sondern aus Aufgabe, Zuverlässigkeit, Risiko und Konsequenz eines Fehlers.

Auch der Mensch kann Fehler machen

Human in the Loop darf nicht mit „Mensch korrigiert Maschine“ gleichgesetzt werden.

Menschen übersehen Informationen, interpretieren Situationen unterschiedlich und können sich durch Vorschläge eines Systems beeinflussen lassen. Menschliche Kontrolle ist deshalb nicht automatisch fehlerfrei – genauso wenig wie Automatisierung automatisch riskant ist.

Die eigentliche Aufgabe besteht darin, die Stärken und Schwächen beider Seiten sinnvoll zu kombinieren.

KI kann große Informationsmengen schnell verarbeiten, Muster erkennen oder Routineaufgaben übernehmen. Menschen können Kontext berücksichtigen, ungewöhnliche Situationen beurteilen und Verantwortung für Entscheidungen übernehmen, die eine empathische Betrachtung benötigen.

Ein gut gestalteter Prozess legt deshalb fest, wann Automatisierung sinnvoll ist und wann menschliches Urteilsvermögen benötigt wird.

Menschliche Aufsicht ist auch eine Organisationsfrage

Selbst ein technisch gut gestalteter Kontrollmechanismus funktioniert nicht, wenn Verantwortlichkeiten unklar bleiben.

Wer darf eine KI-Ausgabe überstimmen? Wer bearbeitet Fälle, die das System nicht eindeutig lösen kann? Welche Qualifikation braucht diese Person? Was geschieht bei wiederkehrenden Fehlern? Und wie gelangen solche Erkenntnisse zurück in die Weiterentwicklung des Systems? Wie wird mit Entscheidungen nach menschlichen Ermessen umgegangen?

KI-Govervance empfiehlt deshalb, Rollen und Verantwortlichkeiten für Mensch-KI-Konfigurationen und die Aufsicht über KI-Systeme ausdrücklich zu definieren. Dazu gehören auch geeignete Kompetenzanforderungen und Schulungen für Personen, die Systeme bedienen oder überwachen.

Human in the Loop ist damit nicht nur eine Funktion innerhalb einer Software. Es ist auch ein Betriebs- und Governance-Konzept.

Die richtige Frage lautet: Wo muss der Mensch entscheiden können?

Gerade in Justiz, öffentlicher Verwaltung und anderen regulierten Bereichen ist menschliche Kontrolle ein wichtiges Thema. Trotzdem wäre es zu einfach, daraus die Regel abzuleiten, dass jede KI-Ausgabe grundsätzlich von einem Menschen geprüft werden muss.

Die notwendige Aufsicht sollte zum Risiko, zum Grad der Automatisierung und zum konkreten Einsatz passen. Genau dieses Prinzip findet sich auch in Art. 14 des EU AI Act für Hochrisiko-KI-Systeme: Die Maßnahmen zur menschlichen Aufsicht sollen den Risiken, dem Autonomiegrad und dem Nutzungskontext angemessen sein.

Deshalb sollte die Gestaltung eines KI-Prozesses nicht erst am Ende um einen Kontrollschritt ergänzt werden.

Schon bei der Konzeption sollte geklärt sein: Was darf das System selbstständig tun? Wann muss ein Mensch übernehmen? Welche Informationen braucht er dafür? Und kann er eine KI-Ausgabe tatsächlich korrigieren oder stoppen?

Human in the Loop funktioniert dann nicht als Sicherheitsnetz, das nachträglich über eine KI-Lösung gelegt wird. Es wird Teil ihrer Architektur.

Sie möchten das auf Ihre Anforderungen übertragen?

Sie beschäftigen sich mit der Auswahl oder dem Einsatz von KI und möchten klären, was für Ihre Organisation sinnvoll ist? In einem kostenlosen und unverbindlichen Erstgespräch ordnen wir Ihre Anforderungen gemeinsam ein.

Welches KI-Setup passt zu Ihren Anforderungen?

Der Trusted-LLMs-Entscheidungs-Assistent hilft Ihnen, zentrale Anforderungen an Modellwahl, Daten, Sicherheit, Betrieb und Integration einzuordnen und daraus eine Empfehlung abzuleiten.

Entscheidungs-Assistent