Wzorce współpracy człowieka z agentami sztucznej inteligencji w Jirze

Człowiek w procesie (human-in-the-loop) pozwala zachować kontrolę, gdy agenty przejmują coraz większą część kompilacji. W Jirze jest to element przepływu pracy, a nie oddzielne narzędzie. Zespoły osiągające wymierne rezultaty pozostawiają kluczowe decyzje ludzkiej ocenie, a pozostałe zadania powierzają agentom.

Ta ocena ma swoje naturalne miejsce. Jira od zawsze służyła zespołom do zarządzania zgłoszeniami i zatwierdzania kolejnych kroków — teraz zapewnia te same możliwości także agentom. Ten przewodnik omawia, w jakich obszarach i w jaki sposób ludzie zachowują kontrolę nad agentami sztucznej inteligencji, kto odpowiada za poszczególne elementy i jak projektować nadzór, który można skalować. W skrócie, dobrze wdrożony model udziału człowieka w procesie przynosi trzy korzyści:

• Zatwierdzenia czynności, których nie można łatwo cofnąć

• Przegląd, który wychwytuje dane wyjściowe o niskiej jakości lub niezgodne z wymaganiami przed ich dostarczeniem

• Eskalacja, która automatycznie przekierowuje niepewne zgłoszenia agenta do odpowiedniej osoby

Jaka jest rola człowieka w procesie opartym na agentach sztucznej inteligencji?

Człowiek w procesie to podejście do projektowania systemów, w którym agent sztucznej inteligencji zatrzymuje się na określonych punktach kontrolnych, aby umożliwić człowiekowi zatwierdzenie, skorygowanie lub przekierowanie zgłoszenia, zanim zostaną podjęte działania o dużym znaczeniu. Agent wykonuje rutynowe zadania, natomiast decyzje niosące rzeczywiste konsekwencje podejmuje człowiek.

To architektura zapewniająca niezawodność, a nie oznaka błędu sztucznej inteligencji ani tymczasowe rozwiązanie, które można usunąć, gdy model osiągnie wystarczającą skuteczność. Najlepsze systemy agentów to takie, w których ludzki osąd pojawia się tam, gdzie rzeczywiście wpływa na rezultat.

W praktyce podejście z udziałem człowieka w procesie najczęściej występuje w trzech wariantach:

• Zatwierdzenie — akceptacja przed wykonaniem czynności o wysokim ryzyku lub nieodwracalnych skutkach.

• Przegląd — weryfikacja danych wyjściowych agenta przed ich dostarczeniem.

• Eskalacja — przekazanie sprawy przez agenta w sytuacji niepewności, braku kontekstu lub wykraczania poza zakres kompetencji.

Człowiek w procesie, człowiek nadzorujący proces a człowiek poza procesem

Te trzy terminy opisują, jak dużo kontroli zachowuje człowiek po rozpoczęciu pracy przez agenta. Różnica sprowadza się do tego, kto podejmuje działania i kto decyduje.

Celem nie jest zapewnienie maksymalnej kontroli wszędzie ani całkowity jej brak. Chodzi o zastosowanie odpowiedniego trybu tam, gdzie faktycznie występuje zagrożenie, i stopniowe przekazywanie większej autonomii w miarę wzrostu zaufania.

Gdzie ludzie zachowują kontrolę nad agentami sztucznej inteligencji?

Zacznij od określenia, kto jest właścicielem poszczególnych elementów

Własność poprzedza punkt kontrolny. Przed określeniem, gdzie dana osoba dokonuje przeglądu lub zatwierdzenia, należy ustalić, za co może odpowiadać agent. Punkt kontrolny wymusza tę decyzję, ale jej nie zastępuje.

Prostym sposobem podziału pracy jest uwzględnienie potencjalnych kosztów błędu:

• Agent jest właścicielem. Dobrze zdefiniowane zgłoszenie, które agent może samodzielnie zrealizować i zamknąć, bez konieczności przekazywania dalej.

• Agent proponuje, człowiek decyduje. Zgłoszenie, które agent przygotowuje w wersji roboczej, a następnie inna osoba kończy, zatwierdza lub odsyła do poprawy.

• Właścicielem jest człowiek. Decyzje od początku podejmuje człowiek, natomiast agent pełni rolę pomocniczą, a nie decyzyjną.

Własność decyduje, kto inicjuje zgłoszenie, natomiast powyższe tryby nadzoru określają, kto monitoruje jego przebieg. W Jirze każda czynność agenta jest powiązana z określoną tożsamością i trafia do historii zgłoszenia, dzięki czemu odpowiedzialność opiera się na dokumentacji, a nie na pamięci.

1. Zatwierdzania: Akceptacja przed realizacją zgłoszeń o dużym wpływie

Zastosuj zatwierdzenie, gdy wykonanie danej czynności jest trudne do cofnięcia. Zmiany produkcyjne, usuwanie danych i operacje generujące koszty powinny być zatwierdzane, ponieważ ryzyko błędnych działań jest wysokie. W Jirze zatwierdzenie to etap w przepływie pracy, który wstrzymuje zmianę statusu do momentu, gdy określona osoba wyrazi zgodę, dzięki czemu kontrola jest integralną częścią procesu, a nie przypomnieniem, o którym trzeba pamiętać. Aby zapoznać się ze szczegółowymi zasadami działania reguł przepływu pracy, w tym warunkami i walidatorami stosowanymi w tych procedurach kontrolnych, zobacz Zabezpieczenia i bezpieczeństwo inżynierii agentowej w Jirze.

• W Jirze: Agent przygotowuje zmianę o dużym wpływie, przykładowo aktualizację konfiguracji produkcyjnej lub wydanie, a zgłoszenie nie może zmienić statusu zatwierdzenia, dopóki wskazana osoba zatwierdzająca nie wyrazi zgody. Natywny krok zatwierdzania łączy zmianę statusu z dwoma możliwymi wynikami — zatwierdzeniem lub odrzuceniem — oraz rejestruje, kto i kiedy podjął decyzję dotyczącą zgłoszenia.

2. Przegląd: Weryfikacja danych wyjściowych przed dostarczeniem

Traktuj dane wyjściowe agenta jako niezweryfikowane, dopóki nie zostaną sprawdzone przez istniejące mechanizmy kontroli. W przypadku agenta kodującego przegląd odbywa się w ramach pull requestu, który przechodzi przez standardowy proces przeglądu i scalania.

Dobry przegląd polega na przeanalizowaniu całego procesu pracy, a nie tylko efektu końcowego. Widok sesji agentów na stronie Dla Ciebie w Jirze umożliwia szybki dostęp do informacji o działaniach i motywacjach agentów, dzięki czemu recenzenci od razu dysponują pełnym kontekstem i nie muszą go odtwarzać.

• W Jirze: Przypisz zgłoszenie agentowi kodowania takiemu jak agent kodowania Jiry. Odczytuje on zgłoszenie i powiązany kontekst, a następnie otwiera powiązany ze zgłoszeniem roboczy pull request, w którym możesz przeprowadzić przegląd. Przeglądasz ten pull request w swoim standardowym procesie scalania, a widok sesji agentów na stronie Dla Ciebie w Jirze grupuje każdą sesję według tego, co wymaga Twojej uwagi, i pokazuje działania poszczególnych agentów, dzięki czemu możesz przeprowadzić przegląd w odpowiednim kontekście, bez konieczności jego odtwarzania.

Przypisz dowolne zgłoszenie Jiry do agenta kodowania i obserwuj, jak analizuje bazę kodu, przygotowuje rozwiązanie lub nową funkcję oraz generuje pull request — wszystko w bezpiecznej piaskownicy chmury.

3. Eskalacja: Przekazanie, gdy agent nie jest pewny lub gdy zadanie wykracza poza jego kompetencje

Eskalacja to moment, kiedy agent rozpoznaje swoje ograniczenia. Gdy poziom pewności jest niski, brakuje kontekstu lub zostanie osiągnięta granica wyznaczona przez zasady, agent powinien wstrzymać działanie i poprosić o wskazówki albo przekierować zadanie do odpowiedniej osoby, zamiast zgadywać. Chodzi o to, aby przekazanie było uporządkowane — należy zaprojektować wyzwalacze w taki sposób, aby eskalacja była wyjątkiem zgłaszanym przez system, a nie błędem, który człowiek musi wychwycić po fakcie. Nie zakładaj, że agent jest w stanie rzetelnie ocenić swoją pewność. Samodzielnie zdefiniuj wyzwalacze: brak wymaganego kontekstu, sygnał o niskim poziomie pewności, zmiana przekraczająca określony rozmiar lub dowolna czynność naruszająca granice zasad.

W Jirze reguły automatyzacji mogą dodawać komentarze, oznaczać zgłoszenia etykietą „Wymaga doprecyzowania” lub przekierowywać je do odpowiedniej osoby w razie niewystarczającego kontekstu — i działa to tak samo niezależnie od tego, czy agent pochodzi od Atlassian, czy od innego dostawcy. Moment, w którym agent powinien się zatrzymać i zadać pytanie w trakcie zadania, jest określony w instrukcjach agenta (w Jirze dla agenta Rovo lub agenta Jiry) albo w konfiguracji narzędzia agenta zewnętrznego (takiego jak Claude, Cursor czy Copilot).

• W Jirze: codziennie rano reguła automatyzacji przegląda wszystkie otwarte zgłoszenia dotyczące bezpieczeństwa i przekierowuje je według istotności. Rozwiązania odwracalne i o niskim ryzyku trafiają do agenta, który otwiera pull request. Wszystkie zgłoszenia o wysokim poziomie istotności lub dotyczące infrastruktury krytycznej są podsumowywane i przekierowywane do odpowiedniego inżyniera jeszcze przed wprowadzeniem zmian, dzięki czemu ryzykowne przypadki trafiają do osoby, która już dysponuje niezbędnym kontekstem.

Skonfiguruj automatyzacje w Jirze tylko raz, a resztą zajmą się agenty.

Kiedy udział człowieka staje się wąskim gardłem, a nie zabezpieczeniem?

Nadzór zawodzi na dwa sposoby. Jest zbyt mały, a Ty dostarczasz rozwiązanie, które nie jest w pełni zgodne lub którego nie da się cofnąć — w miarę jak zwiększało się wykorzystanie kodowania opartego na sztucznej inteligencji, wzrost produktywności programistów zatrzymał się na poziomie około 10–15%, ponieważ najtrudniejszą częścią wydawania oprogramowania przestało być pisanie kodu. Ciężar przesunął się na podejmowanie decyzji, co skompilować, zrozumienie zmienianego systemu i zadbanie, aby dane wyjściowe były bezpieczne do dostarczenia. Zbyt duży nadzór przynosi odwrotny skutek.

Udział człowieka staje się wąskim gardłem procesu, kiedy kontrole przestają odpowiadać poziomowi zagrożenia. Trzy najczęściej występujące problemy to:

1. Zbyt wiele kontroli. Gdy każdą czynność trzeba poddać przeglądowi, pojawia się zmęczenie oceną, agenty bezczynnie czekają na interwencję pracownika, a dynamika osiągnięta dzięki wprowadzeniu agentów niepostrzeżenie zanika.

2. Mechaniczne zatwierdzanie. Kiedy procedura kontrolna uruchamia się w przypadku zadania, które w ogóle jej nie wymagało, zatwierdzenia stają się bezrefleksyjne. Kontrola zamienia się w farsę i zawodzi właśnie wtedy, gdy pojawia się prawdziwy problem i przedostaje się dalej.

3. Liczby zamiast faktycznego nadzoru. Zliczanie zatwierdzeń mówi wyłącznie tyle, że pojawiła się interwencja człowieka. Nie informuje, czy coś stwierdzono. Ilość nie oznacza jakości.

Gdy nie można kontrolować każdej czynności bez ograniczania przepustowości, lepszym rozwiązaniem staje się próbkowanie. Zamiast przeglądać wszystko, co dostarcza agent, warto przejrzeć tylko część. W Jirze reguła automatyzacji może oznaczać określony procent zgłoszeń ukończonych przez agenty lub każde zgłoszenie o wysokiej wartość jako przeznaczone do audytu przez wybraną osobę, dzięki czemu można skutecznie kontrolować jakość bez przerywania pracy zespołu.

Jira jako przestrzeń przeglądu i zatwierdzania

W Jirze kontrola z udziałem człowieka (human-in-the-loop) nie działa jako osobne narzędzie — to ta sama przestrzeń, w której zespół już pracuje, więc każdy punkt kontrolny znajduje się tam, gdzie odbywa się praca. Na tym polega różnica między skalowalnym nadzorem a równoległą płaszczyzną kontroli, której nikt nie utrzymuje.

W tej przestrzeń spotykają się trzy wzorce:

• Zatwierdzanie za pomocą kroku zatwierdzania w przepływie pracy, który wstrzymuje zmianę statusu do czasu akceptacji przez wskazaną osobę.

• Przegląd pull requestu powiązanego ze zgłoszeniem z wykorzystaniem widoku sesji agentów na stronie Jiry Dla Ciebie w celu sprawdzenia, co robią poszczególne agenty i co czeka na Ciebie.

• Eskalacja za pomocą instrukcji agenta i reguł automatyzacji, przy czym przekazanie oraz osoba odpowiedzialna są rejestrowane bezpośrednio w zgłoszeniu.

Jira umożliwia łatwe przeglądanie danych wyjściowych agentów i podejmowanie decyzji dotyczących dostarczania

Ludzie i agenty pracują w jednym systemie rejestracji danych. Przepływy pracy, uprawnienia do danych i historia, którym zespół już ufa, obowiązują niezależnie od tego, który agent zajmuje się zgłoszeniem, dzięki czemu nadzór wykorzystuje istniejące mechanizmy kontroli zamiast wprowadzać oddzielny system opracowany wyłącznie dla sztucznej inteligencji. Masz kontrolę bez niekontrolowanego rozrostu.

Najlepsze praktyki dotyczące współpracy człowieka z agentami sztucznej inteligencji

Najlepsze systemy typu „human-in-the-loop” angażują uwagę ludzi tam, gdzie ma to wpływ na rezultat, a w pozostałych przypadkach pozwalają działać agentom.

• Dąż do mniejszej liczby interwencji o wyższej wartości. Każda procedura kontrolna to koszt. Usuń wszystkie, które stały się formalnością.

• Dopasuj nadzór do zagrożenia i możliwości cofnięcia zmian. Automatyzuj rutynowe zadania. Zarezerwuj zatwierdzenie dla tych, które są kosztowne lub trudne do cofnięcia.

• Oddziel zatwierdzanie od przeglądu. Wprowadź zatwierdzanie przed czynnościami o dużym wpływie i weryfikację wszystkiego, co jest dostarczane.

• Wprowadź uporządkowaną eskalację. Zdefiniuj z wyprzedzeniem wyzwalacze: niska pewność, brak kontekstu lub granica wyznaczona przez zasady.

• Zacznij od wąskiego zakresu, a następnie go rozszerzaj. Przydziel nowemu agentowi wąski zakres zadań i dodawaj kolejne, gdy potwierdzi swoją wiarygodność.

Jak skonfigurować pierwszy przepływ pracy z udziałem człowieka w Jirze

Aby zacząć, nie musisz wszystkiego przeprojektowywać. Wybierz jeden przepływ pracy, dodaj jeden punkt kontrolny i rozbudowuj krok po kroku.

1. Wybierz jedno rutynowe zadanie. Zacznij tam, gdzie błąd można łatwo cofnąć, przykładowo od aktualizacji zależności, naprawy niestabilnego testu lub zmiany dokumentacji. Zadania o wysokiej wadze wykonuj dopiero wtedy, gdy masz zaufanie do konfiguracji.

2. Przypisz to agentowi, ograniczając zakres do tego zadania. Dodaj agenta z pola osoby przypisanej, kolumny tablicy lub podczas zmiany statusu w przepływie pracy. Działa w imieniu osoby odpowiedzialnej, dlatego w Jirze ma dostęp wyłącznie do tych zasobów, do których ta osoba ma uprawnienia. Dostępem do Twojej pracy zarządza Jira, natomiast działania, które agent zewnętrzny może wykonywać za pomocą własnych narzędzi, są określane osobno, poza Jirą. Przypisanie agenta powoduje jego uruchomienie. Nie uwzględnia jeszcze udziału człowieka w procesie — to punkt kontrolny, który należy dodać w kolejnym kroku.

3. Umieść punkt kontrolny w miejscu, w którym pojawia się faktyczny wpływ. Podczas zmiany statusu na „o wysokim wpływie”, dodaj etap zatwierdzenia, aby osoba mogła zatwierdzić dalszy postęp w zgłoszeniu. W planach bez natywnych zatwierdzeń można użyć warunku zmiany statusu, aby ograniczyć, kto może przenosić zgłoszenie.

4. Prześlij dane wyjściowe do przeglądu. W przypadku kodu warto, aby agent utworzył pull request powiązany ze zgłoszeniem, dzięki czemu zmiana zostanie poddana rzeczywistemu przeglądowi przed scaleniem. Nic nie jest dostarczane wyłącznie na polecenie agenta.

5. Potwierdź ścieżkę, a następnie ją poszerz. Sprawdź, czy czynności agenta zostały zarejestrowane w zgłoszeniu, a następnie rozwiń: dodaj kolejną zmianę statusu, następny typ zadania lub rozszerz zakres, zaczynając od odwracalnych zgłoszeń. Poszerzaj zakres autonomii w miarę zdobywania zaufania przez agenta.

Wyświetlaj działania i decyzje podejmowane przez agentów w Jirze.

Punkt końcowy nie jest agentem działającym bez nadzoru. To przepływ pracy, w którym osoby mają wpływ tylko na istotne decyzje, a każdy etap jest udokumentowany.

Chcesz zaangażować ludzi tam, gdzie są naprawdę potrzebni? Wypróbuj Jirę do tworzenia oprogramowania z wykorzystaniem sztucznej inteligencji

Najczęściej zadawane pytania dotyczące współpracy agentów sztucznej inteligencji z człowiekiem

Jak zorganizować współpracę człowieka z agentami kodującymi opartymi na sztucznej inteligencji?

Zapewnij możliwość przeglądu i kontroli pracy agenta. Przekieruj dane wyjściowe do pull requestu, wymagaj zatwierdzenia przed wprowadzeniem zmian o dużym wpływie i zaprojektuj wyzwalacze tak, aby agent eskalował zadanie, gdy nie jest pewny lub działa poza zakresem.

Czy agenty sztucznej inteligencji w Jirze mogą wymagać zatwierdzenia przez pracownika?

Tak. Dodaj krok zatwierdzania przepływu pracy przy zmianie statusu, w przypadku której pojawia się wpływ. Zgłoszenie zostanie wstrzymane do czasu, aż wskazana osoba je zatwierdzi lub odrzuci. Natywne zatwierdzenia są dostępne w planach Premium i Enterprise.

Kto ponosi odpowiedzialność za działania agenta sztucznej inteligencji?

Zawsze jest to człowiek. Choć to agent wykonuje zadanie, człowiek jest odpowiedzialny za rezultat. W Jirze każde działanie agenta jest powiązana z określoną tożsamością i pozostaje w historii zgłoszenia.

Czym jest inżynieria pętli w przypadku agentów sztucznej inteligencji?

Inżynieria pętli to projektowanie wyzwalaczy, które decydują, kiedy agent samodzielnie kontynuuje procesy iteracyjne i kiedy przekazuje rezultaty człowiekowi. Dobrze zaprojektowane wyzwalacze porządkują eskalację, dzięki czemu nadzór skupia się na miejscach, w których występuje ryzyko, a nie na całości.

Czy udział człowieka spełnia wymagania w zakresie zarządzania sztuczną inteligencją?

Nadzór człowieka odgrywa kluczową rolę w regulacjach takich jak unijne rozporządzenie w sprawie sztucznej inteligencji czy amerykański ramowy system zarządzania ryzykiem związanym ze sztuczną inteligencją NIST, jednak sam nadzór nie jest tym samym, co zarządzanie. Konieczne są również egzekwowanie dostępu, zatwierdzenia i ścieżka audytu. Patrz Zasady zabezpieczeń i ochrony inżynierii agentowej w Jirze.