Muster für menschliche Beteiligung (Human-in-the-Loop) bei KI-Agenten in Jira

Die Einbeziehung von Menschen im Prozess sorgt dafür, dass du die Kontrolle behältst, während Agenten immer mehr von der Entwicklung übernehmen. In Jira ist dieses Konzept, das auch als "Human-in-the-Loop" bezeichnet wird, Teil des Workflows und kein separates Tool. Die Teams, die gute Ergebnisse erzielen, lassen wichtige Entscheidungen von Menschen mit entsprechendem Urteilsvermögen treffen und überlassen den Rest den Agenten.

Dieses Urteilsvermögen ergibt sich ganz von selbst und basiert auf einem bestimmten Ort: Jira. In Jira haben Teams schon immer ihre Vorgänge verwaltet und entschieden, was weiterbearbeitet wird – und genau das gilt jetzt auch für die Agenten. In diesem Leitfaden geht es darum, wo und wie Menschen die Kontrolle über KI-Agenten behalten, wer wofür zuständig ist und wie man eine skalierbare Aufsicht gestaltet. Im Grunde genommen ermöglicht dir ein gut umgesetztes "Human-in-the-Loop"-Konzept drei Dinge:

• Genehmigungen, die bestimmte Aktionen blockieren, die sich nicht einfach rückgängig machen lassen

• Eine Überprüfung, die minderwertige oder fehlerhafte Ergebnisse auffängt, bevor sie weitergegeben werden

• Eine Eskalationsregel, die bei Unsicherheit des Agenten den Anruf automatisch an eine Person weiterleitet

Was bedeutet Human-in-the-Loop bei KI-Agenten?

"Human-in-the-Loop" ist ein Systemkonzept, bei dem ein KI-Agent an festgelegten Kontrollpunkten wartet, damit ein Mensch den Vorgang genehmigen, korrigieren oder umleiten kann, bevor es mit risikoreichen Schritten weitergeht. Der Agent übernimmt die routinemäßige Ausführung, während ein Mensch die Entscheidungen trifft, die wichtige Konsequenzen haben.

Dieses Konzept ist eine Architektur, die auf Zuverlässigkeit ausgelegt ist – kein Zeichen dafür, dass die KI versagt hat, und auch keine vorübergehende Notlösung, die man wieder entfernt, sobald das Modell gut genug ist. Die besten Agentensysteme sind diejenigen, bei denen menschliches Urteilsvermögen genau dort zum Tragen kommt, wo es einen maßgeblichen Einfluss auf das Ergebnis hat.

In der Praxis zeigt sich "Human-in-the-Loop" meist in drei Formen:

• Genehmigung – in diesem Schritt muss für eine risikoreiche oder unwiderrufliche Maßnahme eine Freigabe erteilt werden.

• Überprüfung – in diesem Schritt wird die Ausgabe des Agenten überprüft, bevor sie weitergeleitet wird.

• Eskalation – in diesem Schritt wird dafür gesorgt, dass der Agent die Bearbeitung weitergibt, wenn Unsicherheit besteht, Kontextinformationen fehlen oder etwas außerhalb seines Zuständigkeitsbereichs liegt.

"Human-in-the-Loop" vs. "Human-on-the-Loop" vs. "Human-out-of-the-Loop"

Die drei Begriffe definieren, wie viel Kontrolle eine Person behält, sobald ein Agent mit der Arbeit beginnt. Der Unterschied liegt letztlich darin, wer handelt und wer entscheidet.

Das Ziel ist weder eine maximale Kontrolle in allen Bereichen noch gar keine Kontrolle. Es geht darum, den richtigen Modus dort einzusetzen, wo das Risiko tatsächlich besteht, und die Arbeit bei zunehmendem Vertrauen in Richtung größerer Autonomie zu verlagern.

Wo behalten Menschen die Kontrolle über KI-Agenten?

Alles beginnt damit, wer wofür verantwortlich ist

Die Zuständigkeit geht dem Kontrollpunkt voraus. Bevor du festlegst, wo eine Person etwas prüft oder genehmigt, solltest du erst mal entscheiden, wofür der Agent überhaupt zuständig sein darf. Der Kontrollpunkt setzt diese Entscheidung durch, er ersetzt sie nicht.

Eine einfache Möglichkeit für die Unterteilung der Arbeit ist, danach zu gehen, wie viel ein Fehler kosten würde:

• Ein Agent ist dafür verantwortlich. Klar definierte Vorgänge, die der Agent selbstständig erledigen und abschließen kann, ohne dass eine Übergabe nötig ist.

• Der Agent macht einen Vorschlag, der Mensch entscheidet. Vorgänge, die der Agent entwirft und die eine Person fertigstellt, genehmigt oder zurücksendet.

• Eine Person ist dafür verantwortlich. Anrufe, die von Anfang an von einem Menschen getätigt werden, während der Agent nur assistiert, anstatt Entscheidungen zu treffen.

Die Zuständigkeit entscheidet, wer den Vorgang startet. Die oben genannten Beaufsichtigungsmodi entscheiden darüber, wer den Prozess im Auge behält, sobald er läuft. In Jira ist jede Aktion eines Agenten mit einer bekannten Identität verknüpft und wird im Vorgangsverlauf festgehalten, sodass die Verantwortlichkeit eindeutig dokumentiert ist und sich nicht mehr auf Erinnerungen stützen muss.

1. Genehmigungen: Freigabe vor der Ausführung von Vorgängen mit erheblichen Auswirkungen

Verwende eine Genehmigung, wenn eine Aktion schwer rückgängig zu machen ist. Änderungen an der Produktion, Löschungen und kostenverursachende Anrufe müssen alle erst genehmigt werden, denn die Kosten für einen Fehlgriff sind hoch. In Jira ist die Genehmigung ein Schritt im Workflow, der einen Übergang so lange blockiert, bis eine bestimmte Person ihn freigibt. Die Hürde ist also Teil des Prozesses und keine zusätzliche Pflicht, an die man denken muss. Die vollständigen Details zur Funktionsweise der Workflow-Regeln hinter diesen Hürden, einschließlich der Bedingungen und Validatoren, findest du unter KI-Agenten – Guardrails und Sicherheitsmaßnahmen für die Entwicklung in Jira.

• In Jira: Ein Agent bereitet eine Änderung mit erheblichen Auswirkungen vor, zum Beispiel eine Aktualisierung der Produktionskonfiguration oder ein Release, und der Vorgang kann den Genehmigungsstatus erst verlassen, wenn ein namentlich genannter Genehmiger ihn freigibt. Ein nativer Genehmigungsschritt verknüpft den Übergang mit zwei Ergebnissen ("Genehmigt" oder "Abgelehnt") und hält fest, wer wann die Entscheidung zum Vorgang getroffen hat.

2. Review: Validierung der Ausgabe, bevor sie weitergegeben wird

Behandle die Ausgabe des Agenten so lange als nicht vertrauenswürdig, bis sie durch die vorgesehenen Prüfungen verifiziert wurde. Bei einem Programmierungsagenten bedeutet ein Review eine Pull-Anfrage, die deinen üblichen Review- und Merge-Prozess durchläuft.

Bei einem guten Review geht es darum, auch den Vorgang selbst zu betrachten, nicht nur das Ergebnis. Die Ansicht der Agentensitzungen auf der Jira-Seite Für dich bietet dir an einem zentralen Ort einen Überblick darüber, was ein Agent getan hat und warum – so können Reviewer direkt mit dem entsprechenden Kontext arbeiten, anstatt ihn erst rekonstruieren zu müssen.

• In Jira: Weise einen Vorgang einem Programmierungsagenten wie dem Jira-Programmierungsagenten zu. Er liest den Vorgang und den verknüpften Kontext und öffnet dann einen Entwurf für eine Pull-Anfrage, die mit dem Vorgang verknüpft ist. Dort erfolgt dann die Prüfung. Du prüfst diese Pull-Anfrage in deinem normalen Merge-Prozess, und die Ansicht der Agentensitzungen auf der Jira-Seite Für dich gruppiert jede Sitzung danach, was als Nächstes zu erledigen ist, und zeigt an, was jeder Agent getan hat – so kannst du alles im Kontext überprüfen, anstatt den Ablauf erst nachverfolgen zu müssen.

Weise dem Programmierungsagenten einen beliebigen Jira-Vorgang zu und lass ihn deine Codebasis durchforsten, die Fehlerbehebung oder die neue Funktion schreiben und eine Pull-Anfrage erstellen – und das alles in einer sicheren Cloud-Sandbox.

3. Eskalation: Weiterleitung, wenn der Agent unsicher ist oder das Problem seinen Zuständigkeitsbereich überschreitet

Die Eskalation setzt voraus, dass der Agent seine eigenen Grenzen kennt. Wenn er unsicher ist, der Kontext fehlt oder eine Richtliniengrenze erreicht wird, sollte der Agent den Vorgang unterbrechen und nachfragen oder ihn an eine Person weiterleiten, anstatt Spekulationen anzustellen. Es geht darum, diese Übergabe systematisch zu gestalten: Entwirf die Trigger so, dass eine Eskalation eine Ausnahme ist, die das System auslöst, und kein Fehler, den ein Mensch erst im Nachhinein erkennen muss. Verlass dich nicht darauf, dass der Agent seine eigene Zuverlässigkeit sicher einschätzen kann. Definiere die Trigger selbst: fehlender erforderlicher Kontext, ein Signal für geringe Zuverlässigkeit, sofern vorhanden, eine Änderung, die eine festgelegte Größe überschreitet, oder jede Aktion, die eine Richtliniengrenze überschreitet.

In Jira können Automatisierungsregeln genutzt werden, um einen Kommentar hinzuzufügen oder um einen Vorgang mit der Bezeichnung "Muss überarbeitet werden" zu versehen oder ihn an eine Person weiterzuleiten, wenn Kontext fehlt. Das funktioniert sowohl bei Agenten von Atlassian als auch bei denen von Drittanbietern auf die gleiche Weise. Wann ein Agent mitten in einer Aufgabe warten und nachfragen soll, wird in den eigenen Anweisungen des Agenten (in Jira für einen Rovo- oder Jira-Agenten) oder in den Tool-Einstellungen des Drittanbieter-Agenten (wie Claude, Cursor oder Copilot) festgelegt.

• In Jira: Jeden Morgen durchforstet eine Automatisierungsregel alle offenen sicherheitsspezifischen Vorgänge und leitet sie je nach Schweregrad weiter. Risikoarme, reversible Korrekturen werden an einen Programmierungsagenten weitergeleitet, der eine Pull-Anfrage erstellt. Alles, was einen hohen Schweregrad hat oder kritische Infrastruktur betrifft, wird zusammengefasst und an den zuständigen Engineer weitergeleitet, bevor irgendwelche Änderungen vorgenommen werden. So gelangen die risikobehafteten Entscheidungen dann zu einer Person, die bereits über den gesamten Kontext informiert ist.

Richte die Automatisierungen einmalig in Jira ein und deine Agenten erledigen den Rest.

Wann ist "Human-in-the-Loop" eher ein Engpass als eine Sicherheitsmaßnahme?

Es gibt zwei Arten von Fallstricken bei der Kontrolle. Zu wenig Kontrolle führt zur Auslieferung schlecht abgestimmter oder nicht mehr rückgängig zu machender Arbeit: Als der Einsatz von KI beim Programmieren zunahm, stagnierten die Produktivitätssteigerungen bei den Entwicklern bei etwa 10 bis 15 %, denn der schwierige Teil bei der Veröffentlichung von Software war nicht das Schreiben des Codes. Es geht vielmehr darum, zu entscheiden, was entwickelt werden soll. Außerdem muss man das System verstehen, das man verändert, und wissen, ob das Ergebnis gefahrlos freigegeben werden kann. Zu viel Kontrolle ist ebenfalls nachteilig.

Human-in-the-Loop wird in dem Moment zum Engpass, in dem die Kontrollmechanismen nicht mehr zum Risiko passen. Drei häufig auftretende Fehler sind:

1. Zu viele Hürden. Wenn jede einzelne Aktion überprüft wird, kommt es zu Überprüfungsmüdigkeit sowie zu untätigen Agenten, die auf Entscheidungen warten, und die zuvor durch Agenten gewonnene Geschwindigkeit geht verloren.

2. Abnicken. Wenn bei einem Vorgang, für den es gar nicht nötig war, eine Sicherheitsschranke ausgelöst wird, wird der zu prüfende Sachverhalt einfach abgenickt, ohne dass man ihn sich genauer ansieht. Der Kontrollpunkt wird zur Farce, und wenn ein echtes Problem auftaucht, versagt er genau dann.

3. Fokus auf Präsenz statt auf Nutzen. Die Anzahl der Genehmigungen zeigt dir, dass ein Mensch tätig war. Das bedeutet aber nicht, dass die Person auch etwas entdeckt hat. Die bloße Menge ist nicht mit nützlichen Erkenntnissen gleichzusetzen.

Wenn du nicht jede Aktion mit einem Kontrollmechanismus steuern kannst, ohne den Durchsatz zu drosseln, nimm stattdessen Stichproben. Anstatt alles zu prüfen, was ein Agent bereitstellt, prüfe nur einen Teil davon. In Jira kann mit einer Automatisierungsregel ein bestimmter Prozentsatz der von Agenten abgeschlossenen Vorgänge zur Überprüfung durch Personen markiert oder alle besonders wichtigen Elemente an Personen weitergeleitet werden, sodass du die Qualität wirklich im Blick hast, ohne den Arbeitsfluss zu unterbrechen.

Jira als Oberfläche für Review und Genehmigung

In Jira ist „Human-in-the-Loop“ kein separates Tool, sondern die Oberfläche, auf der dein Team bereits Vorgänge bearbeitet – daher befinden sich alle Kontrollpunkte genau dort, wo die Arbeit ohnehin stattfindet. Das ist der Unterschied zwischen einer Aufsicht, die sich skalieren lässt, und einer parallelen Kontrollebene, die niemand pflegt.

Die drei Kontrollmuster treffen auf einer Oberfläche zusammen:

• Genehmigung mit einem Workflow-Genehmigungsschritt, der einen Übergang blockiert, bis eine namentlich genannte Person ihn freigibt.

• Review der Pull-Anfrage, die mit dem Vorgang verknüpft ist, mithilfe der Ansicht der Agentensitzungen auf der Jira-Seite Für dich, um zu sehen, was die einzelnen Agenten getan haben und was noch ansteht.

• Eskalation durch Anweisungen an Agenten und Automatisierungsregeln, wobei die Übergabe und die zuständige Person direkt im Vorgang erfasst werden.

Mit Jira lässt sich die Arbeit der Agenten ganz einfach überprüfen und entscheiden, was ausgeliefert wird

Personen und Agenten arbeiten in einem gemeinsamen Referenzsystem. Die Workflows, Datenberechtigungen und der Verlauf, auf die sich dein Team bereits verlässt, gelten unabhängig davon, welcher Agent die Arbeit erledigt. So werden die bereits vorhandenen Kontrollmechanismen für die Überwachung wiederverwendet, statt dass ein zweites, speziell für KI entwickeltes System eingerichtet wird. Du erhältst Kontrolle, ohne dass das Ganze ausufert.

Best Practices für Human-in-the-Loop mit KI-Agenten

Die besten „Human-in-the-Loop“-Systeme nutzen menschliche Aufmerksamkeit dort, wo sie das Ergebnis beeinflussen kann, und lassen die Agenten überall sonst ihre Arbeit verrichten.

• Setze auf weniger und dafür wertvollere Maßnahmen. Jede Kontrolle ist mit Kosten verbunden. Entferne alles, was zur Formsache geworden ist.

• Passe den Beaufsichtigungsgrad an Risiko und Reversibilität an. Automatisiere Routinevorgänge. Reserviere Genehmigungen für Dinge, die kostspielig sind oder sich nur schwer rückgängig machen lassen.

• Trenne die Genehmigung vom Review. Verwende Genehmigung vor Maßnahmen mit erheblichen Auswirkungen und Reviews bei allen Auslieferungen.

• Gestalte Eskalationen systematisch. Lege Trigger im Voraus fest: geringes Vertrauen, fehlender Kontext oder eine Richtliniengrenze.

• Fang klein an und erweitere dann den Umfang. Gib einem neuen Agenten zunächst einen engen Aufgabenbereich und erweitere ihn nach und nach, sobald du mehr Vertrauen in ihn gewonnen hast.

So richtest du deinen ersten Human-in-the-Loop-Workflow in Jira ein

Du brauchst keine Neugestaltung, um loszulegen. Such dir einen Workflow aus, füge einen Kontrollpunkt hinzu und baue darauf auf.

1. Wähle eine Routineaufgabe aus. Fang dort an, wo es noch wenig kostet, einen Fehler rückgängig zu machen, zum Beispiel bei einer Aktualisierung der Abhängigkeiten, der Behebung eines fehlerhaften Tests oder einer Aktualisierung der Dokumentation. Heb dir die risikoreichen Vorgänge für die Zeit auf, in der du der Konfiguration vertraust.

2. Weise den Vorgang einem Agenten zu, beschränkt auf diese Aufgabe. Füge den Agenten aus dem Feld "Zugewiesene Person", einer Board-Spalte oder einem Workflow-Übergang hinzu. Er handelt im Namen der Person dahinter und kann in Jira daher nur auf das zugreifen, worauf auch diese Person zugreifen kann. Jira regelt den Zugriff auf deine Vorgänge. Was ein Agent eines Drittanbieters mit seinen eigenen Tools tun kann, wird separat außerhalb von Jira festgelegt. Wenn du den Agent zuweist, wird er ausgeführt. Zu diesem Zeitpunkt ist noch kein Mensch an dem Prozess beteiligt. Das ist der Kontrollpunkt, den du als Nächstes hinzufügst.

3. Platziere einen Kontrollpunkt an der Stelle, an der sich die Auswirkung bemerkbar macht. Füge beim Übergang in einen Status mit hoher Auswirkung einen Genehmigungsschritt hinzu, damit jemand den Vorgang freigibt, bevor die Arbeit fortgesetzt wird. Bei Tarifen ohne native Genehmigungen solltest du eine Übergangsbedingung nutzen, um einzuschränken, wer den Vorgang weiterleiten darf.

4. Sende die Ausgabe an den Review. Lass den Agenten für den Code eine Pull-Anfrage verfassen, die mit dem Vorgang verknüpft ist, damit die Änderung vor der Durchführung eines Merge wirklich geprüft wird. Nichts wird auf bloße Anweisung des Agenten hin ausgeliefert.

5. Überprüfe den Pfad und erweitere ihn dann. Überprüfe, ob die Aktionen des Agenten im Vorgang erfasst sind, und erweitere dann das Ganze: Füge zuerst bei reversiblen Vorgängen den nächsten Übergang, den nächsten Aufgabentyp oder einen größeren Umfang hinzu. Gewähre mehr Autonomie, sobald der Agent dein Vertrauen gewonnen hat.

Schau dir in Jira die Aktionen an, die deine Agenten ausgeführt haben, und die Entscheidungen, die sie getroffen haben.

Der Endpunkt soll kein Agent sein, der unbeaufsichtigt ausgeführt wird, sondern vielmehr ein Workflow, bei dem Menschen die Entscheidungen treffen, die wichtig sind, und nichts anderes, und jeder Schritt dokumentiert wird.

Bereit, Menschen in die richtigen Prozesse einzubinden? Nutze Jira für die KI-native Entwicklung

Häufig gestellte Fragen zu KI-Agenten mit menschlicher Beteiligung

Wie sorgt man dafür, dass der Mensch bei KI-Programmierungsagenten nicht außen vor bleibt?

Sorge dafür, dass die Arbeit deines Agenten überprüft und kontrolliert werden kann. Leite seine Ausgabe an eine Pull-Anfrage weiter, fordere vor Änderungen mit hoher Auswirkung eine Freigabe an und gestalte Trigger so, dass der Agent eskaliert, wenn er unsicher ist oder außerhalb seines Zuständigkeitsbereichs agiert.

Ist es möglich, für KI-Agenten in Jira eine Genehmigung durch einen Mitarbeiter zu verlangen?

Ja. Füge bei dem Übergang, bei dem die Auswirkung eintritt, einen Genehmigungsschritt im Workflow hinzu. Der Vorgang wird dann angehalten, bis der angegebene Mitarbeiter ihn genehmigt oder abgelehnt hat. Native Genehmigungen sind in Premium- und Enterprise-Tarifen inbegriffen.

Wer ist für die Aktionen von KI-Agenten verantwortlich?

Immer ein Mensch. Der Agent führt die Arbeit aus, aber ein Mitarbeiter trägt die Verantwortung für das Ergebnis. In Jira ist jede Aktion eines Agenten mit einer bekannten Identität verknüpft und wird im Vorgangsverlauf festgehalten.

Was ist Loop-Engineering für KI-Agenten?

Beim Loop-Engineering ist es Aufgabe des Entwicklers, die Trigger zu designen, die entscheiden, wann ein Agent selbstständig weiter iteriert und wann er an einen Mitarbeiter übergibt. Bei gut designten Triggern erfolgen Eskalationen systematisch, sodass nur dort eine Überwachung stattfindet, wo tatsächlich Risiken bestehen – nicht überall.

Sind bei Human-in-the-Loop die Anforderungen an die KI-Governance erfüllt?

Die Überwachung durch Menschen ist ein zentraler Bestandteil von Regelwerken wie dem EU-Gesetz zur künstlichen Intelligenz und dem NIST AI RMF, doch Überwachung allein ist noch keine Governance. Ebenfalls erforderlich sind die Durchsetzung des Zugriffs, Genehmigungen und ein Audit-Trail. Weitere Informationen findest du im Abschnitt zum Thema KI-Agenten – Guardrails und Sicherheitsmaßnahmen für die Entwicklung in Jira.