Jira의 AI 에이전트 가드레일 및 안전성

가드레일을 사용하면 에이전트 워크플로에 대한 신뢰를 구축하여 AI를 규모에 맞게 도입할 수 있습니다. 효과적인 가드레일은 워크플로에 기본으로 제공되므로, 에이전트가 지키도록 맡기는 대신 시스템이 직접 적용합니다.

Jira에서 해당 시스템은 팀이 이미 업무를 수행하고 있는 시스템입니다. Jira는 권한, 사람이 워크플로 전환을 판단하는 체크포인트, 그리고 업무 항목에 대한 모든 에이전트 작업 기록을 통해 에이전트에게 필요한 액세스 권한을 제공합니다. Teamwork Graph는 에이전트에게 조치하는 데 필요한 적절한 컨텍스트를 제공합니다.

이 가이드는 에이전트 가드레일이 해결하는 위험과 Jira에서 이것을 적용하는 방법을 다룹니다. 이렇게 하면 제어력을 잃지 않으면서 일상적인 기본 작업부터 더 가치 있는 프로젝트에 이르기까지 팀의 업무 전반에서 에이전트에게 더 많은 자율성을 부여하여 AI를 안전하고 책임감 있게 확장할 수 있습니다. 그러한 규모의 자율성은 팀이 이미 사용하고 있는 워크플로, 권한 및 규칙을 사용하여 Jira에서 설정하는 4가지 가드레일을 기반으로 합니다.

• 액세스 범위 지정. 기존 Jira 권한을 통해 에이전트가 접근할 수 있는 데이터, 사용할 수 있는 도구, 작업을 수행할 수 있는 범위를 설정합니다.

• 위험한 작업 제어. 워크플로 전환을 사용하여 영향력이 큰 업무가 반영되기 전에 사람의 승인을 거치도록 합니다.

• 산출물 검토. 산출물을 제공하기 전에 일반적인 풀리퀘스트 검토를 통해 에이전트가 생성한 내용을 확인합니다.

• 기록 보관. 모든 에이전트 작업은 승인자와 연결되어 업무 항목 기록에 남습니다.

에이전틱 엔지니어링에서 가드레일이란 무엇입니까?

에이전트 가드레일은 AI 에이전트의 업무를 안전하고 의도한 대로 수행되고 기록에 남도록 유지하는 제어 장치입니다. 여기에는 접근할 수 있는 항목, 사람이 개입하는 체크포인트 및 수행한 작업의 기록이 포함됩니다. 가드레일은 에이전트가 스스로 지키도록 맡겨두는 것이 아니라, 에이전트가 작동하는 시스템에서 적용합니다.

지시 사항은 잊히거나 잘못 해석되거나 무시될 수 있기 때문에 에이전트에게 올바르게 행동하도록 지시하는 것만으로는 에이전트를 안전하게 만들 수 없습니다. 실제 가드레일은 에이전트 상위의 환경에 위치하며, 에이전트에게 어떤 지시가 주어지더라도 경계가 유지됩니다. 팀이 이미 사용하는 방식과 동일한 원칙입니다. 가능한 작업은 규칙을 따르도록 요구받는 개인이 아니라 시스템이 결정합니다.

실무에서 에이전트 가드레일은 다음과 같은 몇 가지 연결된 영역을 다룹니다.

• 액세스 및 범위. 에이전트가 접근할 수 있는 데이터, 사용할 수 있는 도구 및 작업할 수 있는 위치입니다.

• 작업 범위 한정. 에이전트가 단독으로 처리할 수 있는 작업과 사람이 맡아야 하는 작업을 구분합니다.

• 사람이 개입하는 승인. 업무가 다음 단계로 진행되기 전에 누군가의 검토 또는 승인이 필요한 체크포인트입니다.

• 산출물 검토. 에이전트가 생성한 산출물을 제공하기 전에 유효성을 검사합니다.

• 책임 및 감사. 에이전트가 수행한 작업, 그 이유 및 승인자에 대한 기록입니다.

• 거버넌스. 에이전트 사용이 증가함에 따라 이 모든 과정을 일관되게 유지하는 상시 제어 기능입니다.

이러한 요소들이 모여 에이전트 워크플로에 대한 신뢰를 쌓습니다. 결과에 대해 계속 책임을 지는 담당자가 있으므로, 팀은 제어력을 잃지 않으면서 에이전트에게 더 많은 책임을 맡길 수 있습니다.

AI 에이전트에 가드레일이 필요한 이유는 무엇입니까?

에이전트는 실제로 작업을 수행하기 때문입니다. 제안만 하는 챗봇과 달리, 에이전트는 코드를 변경하고 업무를 이동하고 사용 중인 도구 전반에서 실제 작업을 트리거할 수 있습니다. 이 자율성은 에이전트를 유용하게 만드는 요소이자 가드레일이 필요한 이유이기도 합니다. 에이전트가 스스로 할 수 있는 일이 많을수록, 에이전트의 업무가 정렬되고 검토를 거치고 책임을 명확히 하는 것이 더욱 중요해집니다.

가드레일이 대응하는 핵심 위험 및 사람의 판단이 여전히 필수적인 영역은 다음과 같습니다.

• 정렬 오류: 에이전트가 잘못된 대상을 최적화하거나 작업에서 벗어납니다.

• 낮은 품질 또는 잘못된 산출물: 완성된 것처럼 보이지만 목표에 미치지 못하는 업무로, 환각 코드 또는 사실이 포함됩니다.

• 과도한 액세스: 에이전트가 접근해서는 안 되는 데이터 또는 시스템에 접근하는 것입니다.

• 검토되지 않은 되돌릴 수 없는 작업: 프로덕션에 푸시하거나 데이터를 삭제하는 등 완전히 되돌릴 수 없으며, 적용되기 전에 사람의 확인이 필요한 영향력이 큰 변경 사항입니다.

• 책임 소재 불분명 및 가시성 부족: 기록이 없으면 에이전트가 무엇을 했는지 또는 누가 승인했는지 아무도 알 수 없습니다.

• 통제 불능 비용: 에이전트는 토큰 및 컴퓨팅 리소스를 예측할 수 없는 수준으로 소비할 수 있으므로, 다른 리소스와 마찬가지로 지출에 제한을 두어야 합니다.

가드레일은 에이전트가 아닌 시스템이 강제할 때만 작동합니다. 에이전트에게 하지 말아야 할 일을 알려주는 것은 가드레일이 아닙니다. 하지 말라는 지시를 받더라도 사용자가 모르는 사이에 여전히 그 작업을 할 수 있기 때문입니다. 실제 가드레일은 에이전트가 작동하는 환경 내에서 에이전트의 상위에 위치하므로, 원치 않는 작업은 단순히 권장하지 않는 수준이 아니라 아예 불가능해집니다.

이것이 가드레일이 자율성의 제동 장치가 아니라 전제 조건인 이유입니다. 경계를 신뢰하는 팀은 직접적인 감독을 줄이면서 에이전트에게 더 많은 책임을 부여할 수 있습니다. 그렇게 하지 못하는 팀은 에이전트를 도입하여 얻고자 했던 속도를 잃게 됩니다.

Jira에서 AI 에이전트를 어떻게 안전하게 제어합니까?

가드레일이 에이전트가 작동하는 시스템 내에서 에이전트 상위에 위치해야 한다면, 중요한 것은 바로 그 시스템이며 엔지니어링 업무에서는 Jira입니다. 에이전트가 Atlassian System of Work 내에서 작동할 때, 팀이 이미 사용 중인 동일한 Jira 권한과 기존 워크플로 및 감사 추적을 통해 데이터와 업무 항목에 접근합니다. 에이전트가 자체 환경 내에서 수행할 수 있는 작업은 여전히 에이전트가 관리하므로, Jira는 업무에 대한 액세스를 담당하고 에이전트 수준의 권한은 에이전트가 실행하는 도구를 관리합니다.

코딩 에이전트는 자체적으로 자신의 동작만 제어합니다. Jira가 업무를 제어하므로 모든 에이전트에 걸쳐 한곳에서 가드레일이 적용되며, 각각 어떤 위험을 해결하는지 확인할 수 있습니다.

이 제어의 대부분은 워크플로에서 이루어집니다. 사용자 간에 업무를 전달하는 상태, 전환 및 규칙은 에이전트에게도 업무를 전달하고 에이전트가 수행할 수 있는 전환을 결정하고 영향력이 큰 변경 사항은 승인을 받도록 보류합니다.

액세스: Jira에서 제어할 수 있는 항목

첫 번째 제어 요소는 범위, 즉 에이전트가 어떤 데이터, 도구 및 프로젝트로 업무를 수행할 수 있는지입니다. 이것은 과도하게 광범위한 액세스를 방지하는 가드레일입니다. Jira에서는 팀 동료에 대해 설정하는 것과 동일하게 설정하므로 익숙한 방식이며, 원하는 대로 조정할 수 있습니다.

• Jira에서의 작동 방식: 에이전트가 사용할 ID를 선택합니다. 기본적으로 해당 사용자를 대신하여 작동하며, 사용자가 접근할 수 있는 데이터, 프로젝트 및 업무 항목에만 접근합니다. 에이전트에게 자체 계정과 권한을 부여하여 액세스가 특정 개인에게 의존하지 않도록 할 수도 있습니다. 관리자는 어떤 에이전트를 어디에서 활성화할지 제어합니다. 에이전트가 자체 도구로 할 수 있는 작업은 Jira가 아니라 에이전트가 설정합니다. 액세스를 넓게 유지하거나 범위를 좁게 설정하고, 신뢰가 쌓임에 따라 확대하세요.

• 직접 조정하는 컨트롤입니다. 이것은 사용자에 대해 이미 사용 중인 것과 동일한 권한 제어 수단입니다. 권한 구성표 및 프로젝트 역할은 에이전트가 프로젝트에서 할 수 있는 작업을 설정하며, 이슈 보안은 에이전트가 볼 수 있는 특정 업무 항목을 제한합니다. 이 중 하나라도 강화하면 에이전트의 접근 범위가 제한되며, 에이전트 전용 시스템은 필요하지 않습니다.

• 작업에 필요한 항목에 액세스 권한을 부여하세요. 대부분의 에이전트는 움직일 수 있는 여유 공간이 있을 때 업무를 가장 잘 수행하므로, 작업에 맞게 범위를 설정하세요. 정말로 민감한 시스템의 경우 접근을 제한하세요.

워크플로에서 에이전트가 수행하는 작업을 어떻게 제어합니까?

두 번째 가드레일은 워크플로, 즉 에이전트가 언제 실행될지, 자체적으로 무엇을 할 수 있는지, 그리고 어떤 것이 사람의 확인을 기다려야 하는지를 결정하는 규칙입니다. 정렬 오류 및 돌이킬 수 없는 작업을 방지하는 수단입니다. 팀이 이미 사용하는 전환에 이 규칙을 설정하므로, 감독이 마지막 단계의 단일 관문이 되지 않습니다.

전환 조건은 에이전트가 조치할 수 있는 단계를 제한하고 유효성 검사기는 준비되지 않은 업무를 차단하고 승인 단계는 영향력이 큰 변경 사항을 담당자가 처리하도록 보류합니다. 사람의 승인은 여러 규칙 중 하나이며, 각 규칙을 위험 수준에 맞게 적용하는 것이 중요합니다.

• Jira에서 설정하는 방법: 업무 유형의 워크플로를 열고 예를 들어 "검토 중"에 진입하는 전환에 에이전트를 추가하여 업무 항목이 해당 지점에 도달할 때 에이전트가 실행되도록 합니다. 에이전트를 추가하면 담당자의 승인 여부가 아니라 에이전트가 실행되는 시점이 설정됩니다. 사람의 승인은 별도의 제어 수단입니다. 워크플로 승인 단계가 전환을 통제하며, 언제 일시 중지하고 질문할지에 대한 에이전트의 자체 지시 사항 또는 자동화 규칙과 연결할 수 있습니다. 전환은 여러 진입 지점 중 하나입니다. 에이전트는 다음의 경우에도 시작할 수 있습니다.

  • 들어오는 즉시 분류하도록 작업이 만들어질 때

  • 자동화 규칙을 통해 토픽 또는 필드가 변경되거나 일정에 따라 실행될 때

  • 릴리스 정보 초안 작성과 같은 일상적인 업데이트를 위해 백그라운드에서 실행될 때

• 위험 수준에 맞게 관문을 설정하세요. 위험이 낮은 업무(종속성 업데이트)는 자체적으로 실행되도록 하고 위험이 중간 수준인 업무(공유 구성 변경)에 대해서는 담당자에게 알리고 위험이 높거나 되돌릴 수 없는 작업(프로덕션 변경 또는 데이터 삭제)에 대해서는 승인을 요구합니다.

• 에이전트가 소유할 작업을 결정하세요. 체크포인트를 설정하기 전에 에이전트가 소유할 항목을 결정합니다. 에이전트에게 위험이 낮은 업무를 전적으로 맡기고 영향력이 더 큰 업무는 사람이 마무리할 수 있게 준비하도록 하고, 가장 중요한 결정은 사람이 직접 내리도록 합니다. 작업의 경계를 정하는 것이 첫 번째 결정이며, 체크포인트는 이것을 적용하는 방법입니다.

• 에이전트에게 자체 지시 사항을 제공하세요. 에이전트가 직접 내리도록 할 결정 및 일시 중지하고 질문해야 할 시점을 포함하여 에이전트가 어떻게 행동하고 업무를 진행할지 설정하여, 일반적인 기본값 대신 팀의 규칙을 따르도록 합니다.

산출물을 검토하세요. 에이전트가 생성한 내용을 어떻게 확인합니까?

세 번째 가드레일은 업무 결과물 자체에 대한 검토로, 품질이 낮은 산출물 및 환각 현상이 반영되기 전에 담당자가 잡아내는 과정입니다. 코딩 에이전트의 경우, 에이전트가 여는 풀리퀘스트에 해당합니다.

• Jira: 사람이 직접 확인하거나 기존 검사를 통해 검증될 때까지 에이전트의 산출물을 신뢰할 수 없는 것으로 간주하세요. 새로운 기여자의 코드에 적용하는 것과 동일한 기준을 사용합니다. 에이전트 업무는 업무 항목과 연결되며, 코드 변경 사항은 풀리퀘스트로 전달되어 일반적인 검토 및 병합 프로세스를 거칩니다. 에이전트가 생성한 어떤 결과물도 팀에서 이미 진행 중인 검토를 건너뛰지 않습니다.

• 산출물 이면의 업무를 확인하세요. 최종 결과만 보는 것이 아닙니다. Jira의 에이전트 세션에서는 에이전트가 수행한 작업 및 그 이유를 한곳에서 확인할 수 있으므로, 검토자가 산출물을 다시 구성하는 대신 전체 컨텍스트를 파악하여 산출물을 이해할 수 있도록 돕습니다.

캡션: 예시: Bitbucket Cloud에서 AI 코드 검토 표준을 정의하고 모든 풀리퀘스트에 자동으로 적용해 줘.

책임 소재를 명확히 할 수 있는 기록을 남기세요. 누가, 언제, 무엇을 했습니까?

네 번째 가드레일은 책임에 대한 해답인 기록입니다. 기록은 에이전트의 업무를 의도와 연결합니다. 즉, 에이전트가 무엇을 했는지, 왜 했는지, 어떤 업무 항목을 처리했는지, 그리고 누가 승인했는지를 나타냅니다. 이 연결 덕분에 문제가 발생했을 때 이슈를 쉽게 추적하고 해결할 수 있습니다.

• Jira의 경우: 모든 에이전트는 알려진 ID로 실행됩니다. 업무를 할당하거나 설정한 사람의 권한으로 작업하거나, 사용자가 할당한 권한을 가진 자체 에이전트 계정으로 실행됩니다. 어느 경우든 기록은 각 작업을 책임 있는 ID와 연결합니다. 이 기록은 에이전트가 수행한 작업 및 그 책임자를 사람의 활동과 함께 업무 항목 기록에 남기며, 승인은 서명한 검토자와 연결됩니다. 관리자는 감사 로그에서 비정상적인 활동을 모니터링할 수도 있습니다.

• 로컬 에이전트 업무를 기록에 포함합니다. 에이전트 세션 추적은 로컬 IDE 또는 터미널의 로컬 AI 코딩 에이전트 활동을 가져와 업무 항목에 연결하므로 Jira 외부에서 수행한 업무도 책임 소재를 확인할 수 있는 기록으로 남습니다. 대기 목록에 등록하세요.

에이전트 가드레일의 모범 사례는 무엇입니까?

• 에이전트의 액세스 권한을 작업에 맞게 설정하고 신뢰도가 높아짐에 따라 권한을 확대합니다(에이전트는 기존 Jira 권한을 사용).

• 에이전트에게 어떻게 작업하고 언제 일시 중지하여 질문해야 하는지 명확한 지시 사항을 제공합니다.

• 영향력이 큰 작업에 앞서 위험도가 낮고 되돌릴 수 있는 업무부터 에이전트에게 맡깁니다.

• 중요한 결정의 경우 담당자가 관여하도록 하고, 최종 승인뿐만 아니라 여러 지점에 체크포인트를 마련합니다.

• 사용자의 산출물과 동일한 프로세스(풀리퀘스트 검토 및 병합)를 통해 에이전트 산출물을 검토합니다.

• 모든 에이전트 작업을 업무 항목에 연결하여 기록으로 남깁니다(기록 및 감사 로그).

• 에이전트가 추측하고 업무를 다시 수행하는 경우 과도한 지출이 발생하므로 에이전트가 컨텍스트를 기반으로 작동하게 하도록 하여 비용을 관리합니다.

Atlassian은 Teamwork Graph를 기반으로 한 AI가 토큰 소비를 48% 줄이면서 답변 품질을 44% 향상한다는 사실을 확인했습니다.

Jira가 담당하는 가드레일과 다른 곳에서 담당하는 가드레일은 무엇입니까?

가드레일은 에이전트 스택의 여러 계층에 존재합니다. Jira는 업무 및 액세스 계층을 담당하며, 다른 계층은 모델 공급자, 에이전트 프레임워크 및 CI가 담당합니다.

Jira는 에이전트가 수행할 수 있는 작업을 관리하고 수행한 작업을 기록하며 모델 수준 및 런타임 수준의 안전성을 대체하는 대신 보완합니다.

Jira에서 첫 번째 에이전트 가드레일을 추가하는 방법

처음부터 완전한 거버넌스 프로그램이 필요한 것은 아닙니다. 하나의 가드레일만으로도 중요한 의사 결정에는 담당자가 관여하도록 하면서 에이전트에 실제 업무를 책임감 있게 맡기고, 신뢰가 쌓이면 점차 확대할 수 있습니다.

1. 불안정한 테스트 또는 종속성 업데이트와 같이 일상적이고 되돌릴 수 있는 작업 하나를 선택합니다(실수로 인한 비용을 제한).

2. 새로운 팀 동료에게 부여할 수준의 액세스 권한으로 에이전트를 실행하되 작업에 필요한 권한만 부여합니다.

3. 워크플로 전환에 추가하여 먼저 담당자가 승인하도록 합니다(잘못 정렬되거나 위험한 작업을 방지).

4. 일반적인 프로세스에 따라 풀리퀘스트를 검토합니다(저품질 산출물 또는 환각을 잡아냄).

5. 업무 항목에 기록되었는지 확인합니다(되돌려야 할 경우 추적 가능).

6. 이것이 AI를 책임감 있게 확장할 수 있는 워크플로를 구축하는 방법입니다. 에이전트 산출물의 품질을 높이고 검토 시간을 줄이며 이후 안전하게 확장할 수 있는 자율성을 확대할 수 있습니다.

Atlassian의 책임감 있는 기술 사용 원칙의 일부인 책임감 있는 AI 거버넌스를 위한 실용 가이드를 확인하세요.

AI 에이전트 가드레일에 대해 자주 묻는 질문

어떻게 AI 에이전트를 안전하게 유지합니까?

AI 에이전트가 액세스할 수 있는 항목을 제어하고 영향력이 큰 작업의 경우 담당자의 승인을 요구하며 에이전트가 수행하는 모든 활동을 기록하고 각 작업의 위험도에 맞게 감독하여 AI 에이전트를 안전하게 유지할 수 있습니다.

Jira는 AI 에이전트를 어떻게 관리합니까?

Jira는 팀이 이미 사용하는 제어 기능을 통해 AI 에이전트를 관리합니다. 에이전트는 Jira의 권한 및 워크플로 내에서 작동하며 워크플로 전환 시 담당자의 승인을 거치도록 제한할 수 있고 에이전트의 작업은 업무 항목 기록 및 감사 로그에 기록됩니다.

Jira의 AI 에이전트에 담당자의 승인을 요구할 수 있습니까?

그렇습니다. 에이전트를 워크플로 전환에 추가하여 업무가 진행되기 전에 담당자가 산출물을 검토하고 승인하도록 할 수 있으며 위험도가 낮고 되돌릴 수 있는 작업에는 자율 실행을 적용할 수 있습니다.

AI 에이전트의 프롬프트 인젝션은 어떻게 처리합니까?

프롬프트 인젝션은 신뢰할 수 없는 입력을 통해 에이전트가 의도하지 않은 작업을 하도록 유도합니다. Atlassian은 인젝션 시도를 막기 위해 Rovo 기반 에이전트로 들어오는 입력을 필터링합니다. 그러나 완벽한 필터는 없으므로 제한된 액세스, 담당자의 승인 및 전체 감사 추적과 같은 계층화된 가드레일을 통해 나머지 위험을 제어합니다.