Loblaw Digital + Atlassian

대형 소매업체의 테스트 관리를 혁신


Loblaw Digital 로고
Loblaw Digital 로고
업계

리테일

위치

캐나다

회사 규모

Enterprise

Solution Partner
페이지 공유

캐나다 최대 소매업체의 소프트웨어 부문인 Loblaw Digital은 기하급수적인 성장, 수백 개의 순열 및 기타 복잡성으로 인해 테스트가 악몽과도 같았습니다. 엔지니어들은 Jira Software를 Adaptavist Test Management for Jira와 통합하여 빠르고, 간단하고, 확장 가능한 솔루션을 사용자 지정했습니다.

캐나다 최대 소매업체인 Loblaw의 소프트웨어 부문인 Loblaw Digital 직원 Justin Watts와 그의 엔지니어링 팀은 복잡한 요구 사항을 해결해줄 테스트 관리 솔루션을 찾지 못하고 있던 중에 Jira SoftwareAdaptavist Test Management for Jira(TM4J)를 통합할 수 있다는 사실을 발견했습니다.

생산성 엔지니어링 부문의 이사인 Justin은 회사의 테스트 관리 도구에 한동안 실망하고 있었습니다. Loblaw Digital이 단 6년 만에 직원 6명에서 250명 이상으로 성장했을 때 변화가 일어나야 했습니다.

엔지니어링 팀은 상위 조직 내에서 Loblaw Digital이 수행하는 고유한 역할을 지원하고 팀의 세 가지 주요 목표, 즉 업무량 감소, 생산성 향상 및 업무 완수를 달성할 수 있는 솔루션이 필요했습니다. 몇 가지 도구를 사용해 본 후, 팀에서는 마침내 목표에 부합하는 도구를 발견했습니다.

Loblaw Digital은 Atlassian 솔루션 파트너인 Adaptavist와의 긴밀한 협업을 통해 테스트 시간을 단축하고, 생산성을 높이고, 커뮤니케이션을 개선하고, 회사가 고객이 "더 나은 삶을 살 수 있도록" 돕겠다는 목표를 효과적으로 달성할 수 있도록 지원하는 확장 가능한 엔드투엔드 테스트 솔루션을 사용자 지정했습니다.

수많은 직원, 플랫폼 및 순열

두 개의 조직, 수백 명의 직원, 수많은 기존 플랫폼, 수십 개의 브랜드, 3개의 중단점, 2개의 언어, 여러 브라우저, 2개의 테스트 방법.

제공 속도는 여러 번에 걸쳐 10배씩 늘어났습니다.

Justin Watts

생산성 엔지니어링 부문 이사

이는 Loblaw Digital의 테스트 절차를 매우 복잡하게 만든 몇 가지 변수에 불과합니다. 더 큰 조직 내에서의 역할마저도 일반적인 사내 기관 관계보다 더 복잡합니다. Loblaw Digital은 20개 이상의 브랜드에 대한 디지털 자산을 구축하는 것 외에도 이러한 모든 자산에 대한 손익 계산서를 소유하고 있습니다. “우리가 구축하는 플랫폼을 유지 관리하기 때문에 테스트 가능성, 재사용 가능성 및 확장성을 중요하게 생각합니다.”라고 Justin은 설명합니다. “기술적 부채를 가지고 있기 때문에 최종 결과만큼이나 여정에도 관심을 갖는 것이 저희에게 가장 큰 이익이 됩니다.”

Loblaw는 소매 업계이기 때문에 사용자가 주문하는 것부터 Loblaw가 주문을 완료하고, 잠재적으로 직접 픽업하는 고객에 이르기까지 엔드투엔드 고객 경험을 계획해야 합니다. 이러한 고려 사항으로 인해 테스트 관리 시스템에 대한 Justin의 위시리스트는 훨씬 더 길어졌습니다.

광범위한 논의를 거친 후, 엔지니어링 팀은 새로운 솔루션에 대한 5가지 주요 요구 사항으로 기준을 좁혔습니다.

  1. 세계적인 수준의 수동 및 자동 테스트 기능
  2. 네이티브 UI 및 API 인터페이스
  3. Jira Software와 같은 기존 플랫폼 중 하나와 통합
  4. 수백 개의 순열을 추적하는 기능
  5. 기술 팀 및 기술 분야 이외의 이해 관계자 모두를 위한 명확하고 공유 가능한 테스트 결과

쉽지 않은 일이었지만, 팀은 꿈을 실현해줄 올바른 도구를 갖춘 적합한 파트너를 찾을 수 있다는 믿음을 가지고 있었습니다.

완벽하게 맞는 솔루션을 찾아가는 여정

Justin과 그의 팀은 1년이 넘는 시간 동안 솔루션을 모색했습니다. Loblaw Digital은 이미 모든 프로젝트에 Jira Software를, 그리고 문서화 및 협업에는 Confluence를 사용하고 있었기 때문에 Atlassian 스택을 확장해줄 도구나 앱을 찾고자 했습니다.

이 그룹은 Atlassian Marketplace를 방문하여 타사 통합을 탐색하는 것으로 시작했지만, 대부분의 경우 작업을 완료하기 위해 인터페이스 간에 오가며 이동해야 한다는 점에 불만족스러워 했습니다. 또한 Jira Software의 UI에 바로 포함된 앱을 사용해 보았지만, 앱은 테스트 사례를 이슈처럼 취급했기 때문에 어색함을 느꼈고 솔루션보다는 차선책에 가까웠습니다.

결국 팀은 완전한 솔루션으로서 작동하는 Jira Software 앱인 Adaptavist Test Management for Jira(TM4J)를 발견했습니다. “최고의 테스트 관리 시스템은 사용자가 자신이 사용하고 있다는 것조차 모르게 만드는 시스템입니다.”라고 Justin은 말합니다. “Adaptavist는... Jira Software 내의 테스트 관리 제품처럼 느껴졌습니다.”

Justin은 직접 제품을 보지도 않고 TM4J Server를 구입한 다음 실험을 시작했습니다. 한 달 만에 Justin과 그의 팀은 요구 사항에 완벽하게 맞는 솔루션을 사용자 지정했습니다.

TM4J를 한계까지 밀어붙인 비즈니스 파트너

Adaptavist의 제품 매니저인 Cristiano Caetano가 Loblaw Digital에서 진행되는 일을 보았을 때 더 많이 알아보고 싶어 했습니다. 그는 “저희는 이 사람들이 API로 도대체 무엇을 하려고 하는 것인지 궁금해서 참을 수 없었습니다.”라고 말하며 웃습니다. 일부 회사에서는 Loblaw Digital을 막으려고 시도했겠지만 Cristiano와 그의 팀은 열정적으로 연료를 더했습니다. “Loblaw Digital에서는 저희가 상상조차 못했던 방식으로 제품을 추진하고 있었는데, 이들이 계속 나아가는 데 돕지 않을 이유는 없었습니다.”

Adaptavist는 그의 팀이 도구를 어떻게 사용하고 있는지 더 잘 이해하기 위해 Justin에게 연락을 취했고, 그때 시작된 끈끈한 파트너십이 지금까지도 지속되고 있습니다. Caetano는 “이들은 저희에게 피드백을 제공하고 저희는 누락된 기능과 아이디어를 포함시켜 개선하기 위한 대화를 나눕니다.”라고 설명합니다.

자동 테스트와 수동 테스트 모두에 대해 하나의 제품군과 하나의 세트를 보유하게 되면서 저희의 릴리스 주기는 한 달, 그 다음에는 2주, 그 다음에는 한 주로 단축되었습니다. 우리는 이제 하루 단위로 릴리스하고 있습니다. 즉, 시스템이 확장된다는 뜻입니다.

Justin Watts

생산성 엔지니어링 부문 이사

시간이 많이 걸리는 복잡한 프로세스에서 빠르고 쉬운 프로세스로의 변화

Loblaw Digital은 TM4J와 Jira Software를 통해 내부 팀은 물론 전체 상위 조직에서 사용하는 테스트 프로세스를 혁신할 수 있었습니다.

예를 들어, 테스트에서 가장 복잡하고 까다로운 문제 중 하나인 순열을 예로 들어 보겠습니다. 관련된 모든 변수로 인해 모든 테스트에는 384개의 순열이 있습니다. 다른 테스트 관리 도구를 사용하는 경우 Loblaw Digital은 384개의 테스트를 작성하고 저장해야 합니다. Jira Software와 TM4J를 사용하면 “환경”을 사용하여 테스트를 수행하고 상황에 맞는 결과를 업로드할 수 있습니다.

Justin은 “예전에는 모든 순열에 대한 테스트 보고서를 생성했기 때문에 보고서 간에 대조하고 살펴보기가 정말 어려웠습니다.”라고 설명합니다. “테스트를 X-Y 축(순열에 대한 테스트)에 놓고 녹색 또는 빨간색 사각형을 사용하면 동일한 패턴을 한눈에 볼 수 있다는 것을 깨달았습니다.”

이 사실을 통해 엔지니어링 팀은 테스트 결과를 더 빠르고 쉽게 읽을 수 있게 되었고, 기술 팀 이외의 이해 관계자도 더 쉽게 이해할 수 있었습니다. Adaptavist는 보고서에 대해 정말 만족한 나머지 TM4J에 이 기능을 추가했습니다.

Loblaw Digital은 또한 TM4J와 Atlassian을 활용하여, 테스트를 실행하고 결과를 보고하는 프로세스를 자동화하는 Jeanie라는 애칭의 Slack 앱을 만들어 생산성을 높였습니다. Justin의 팀은 자동화 자체뿐만 아니라 그 결과로 발생하는 아티팩트의 이점도 누리고 있습니다. “TM4J는 Jira Software에서 아티팩트를 생성하므로, 누구나 다시 돌아가서 어떤 테스트가 언제 실행되었는지 확인하고 여러 훌륭한 보고서를 볼 수 있기 때문에 정말 유용합니다.” “Atlassian은 여러 UI를 클릭하지 않고도 저희가 원하는 방식으로 운영할 수 있도록 하는 동시에, 저희가 좋은 이웃이 되고 다른 모든 사람들에게 피드백을 제공하는 데 도움이 됩니다.”

Loblaw Digital이 TM4J 및 Jira Software를 사용하여 해결한 또 다른 문제는 결함 추적이었습니다. Justin은 테스트에 Jira Software를 사용할 때 가장 마음에 드는 점 중 하나는 이슈, 스토리 및 테스트를 “추적 가능성 매트릭스”로 통합하는 기능이라고 말합니다. “놀라운 점은, 우리가 실행하는 모든 테스트를 비롯해 해당 테스트와 관련된 모든 스토리에 대해 보고서를 생성할 수 있다는 것입니다. 이렇게 하면 버그를 실수로 놓치는 일이 없습니다.”라고 그는 말합니다. “해결되지 않은 것이 있으면 경고가 발생합니다. 이해 관계자에게 유용한 기능으로, 우리의 정직성을 유지해 줍니다.”

모두 하나의 솔루션에서 제공되는 속도, 단순성 및 확장성

Loblaw Digital은 테스트 관리 솔루션에 대해 세 가지 주요 목표를 가지고 있었습니다. 바로 업무량을 줄이고, 생산성을 높이며, 작업을 완료하는 것입니다. Jira Software 및 TM4J 솔루션은 모든 측면에서 기대치를 뛰어넘었습니다.

도구가 팀 운영 방식에 맞춰지기 때문에 지루한 작업을 손쉽게 처리할 수 있습니다. Justin은 다음과 같이 설명합니다. “Jira Software는 고집이 센 도구가 아닙니다. 그 점이 정말 마음에 듭니다. 우리는 완벽하게 앞뒤가 맞는 기발한 패턴을 만들고 운영할 수 있습니다.”

원활하고 유연한 워크플로를 통해 팀의 생산성이 높아졌으며, 작업 속도 또한 빨라졌습니다. “제공 속도는 여러 번에 걸쳐 10배씩 늘어났습니다.”라고 Justin은 말합니다. "자동 테스트와 수동 테스트 모두에 대해 하나의 제품군과 하나의 세트를 보유하게 되면서 저희의 릴리스 주기는 한 달, 그 다음에는 2주, 그 다음에는 한 주로 단축되었습니다. 우리는 이제 하루 단위로 릴리스하고 있습니다. 즉, 시스템이 확장된다는 뜻입니다."

도구를 바꾸지 않고도 워터폴에서 스크럼으로, 칸반으로 손쉽게 전환했습니다. 제품과 함께 성장할 수 있었으며, 전환이 방해가 된다는 생각은 전혀 들지 않았습니다.

Justin Watts

생산성 엔지니어링 부문 이사

지금까지 분명한 결과를 확인할 수 있었던 Justin은 앞으로의 일에 대해 훨씬 더 큰 기대를 가지고 있습니다. 이 팀에서는 현재 하루에 약 20만 건의 테스트를 실행하고 있으며, 이에 따라 새로운 기능의 제공 속도가 빨라지고 회귀 시간이 250% 단축되고 있습니다. 그리고 이 프로세스를 5배 더 빠르게 만들 수 있을 것이라 예상합니다.

Justin은 “저희는 여정의 전체가 아니라 일부에만 도움이 될 도구를 선택할까봐 걱정이 되었습니다.”라고 말합니다. “하지만 도구를 바꾸지 않고도 워터폴에서 스크럼으로, 칸반으로 손쉽게 전환했습니다. 제품과 함께 성장할 수 있었으며, 전환이 방해가 된다는 생각은 전혀 들지 않았습니다.”

Justin은 솔루션의 확장성에 대해 큰 확신을 가지고 있었기 때문에, 모회사가 이 부분을 주목하고 더 넓은 차원의 엔터프라이즈에서 Loblaw Digital의 도구를 채택하고자 했을 때 주저하지 않았습니다. “Atlassian을 사용하는 저희를 부러워했습니다.”라고 말하며 Justin은 웃습니다. “엔터프라이즈에서 저희와 협업하는 직원은 누구나 Atlassian을 사용하기고 싶어 하기 때문에 2,000명의 사용자 라이선스를 보유하고 있습니다.”

직원들이 비즈니스에 더 많은 가치를 제공할 수 있도록 권한을 부여하는 것은 고객에게 더 많은 가치를 제공하는 것으로 이어졌습니다. Atlassian과 Adaptavist의 지원을 받아, Loblaw는 고객이 "더 나은 삶을 살 수 있도록" 돕겠다는 약속을 그 어느 때보다도 빠르고 효율적인 방식으로 이행하게 된 것을 자랑스럽게 생각합니다.

audi 로고

Audi에 근무하는 6,000명의 연구개발 팀원이 전 세계 공급업체와 원활하게 협력하고 있습니다.

Domino 로고

DevOps 프로세스를 간소화함으로써 보다 나은 서비스(와 피자)를 더 빠르게 제공할 수 있었습니다.

Appdynamics 로고

AppDynamic의 비즈니스가 사일로화된 스타트업에서 팀 위주로 변화한 방법을 알아보세요.

Telegraph 로고

Telegraph는 향상된 고객 지원 및 단축된 해결 시간으로 매달 2,500만 사용자에게 더 나은 서비스를 제공합니다.