Close
Loblaw Digital+ Atlassian

Testbeheer transformeren voor een groot detailhandelbedrijf


Loblaw Digital-logo
Loblaw Digital-logo
Sector

Retail

Locatie

Canada

Bedrijfsomvang

Enterprise

Solution-partner
Pagina delen

Exponentiële groei, honderden permutaties en andere ingewikkelde zaken maakten van testen een nachtmerrie voor Loblaw Digital, de softwaretak van de grootste retailer van Canada. Door Jira Software te integreren met Adaptavist Test Management voor Jira ontwikkelde Loblaw Digital een eigen, snelle, eenvoudige en schaalbare testoplossing.

Justin Watts en zijn engineeringteam bij Loblaw Digital - de softwaretak van Loblaw, de grootste retailer van Canada - konden geen oplossing voor testbeheer vinden die aan hun complexe behoeften zou voldoen. Totdat ze ontdekten dat ze Jira Software konden integreren met Adaptavist Test Management voor Jira (TM4J).

Justin, directeur Productivity Engineering, was al een tijdje teleurgesteld over de tools voor het beheren van tests binnen zijn bedrijf. Toen Loblaw Digital in slechts zes jaar tijd van zes naar meer dan 250 werknemers groeide, was het tijd om iets te veranderen.

Engineering had een oplossing nodig die de unieke rol van Loblaw Digital binnen de moederorganisatie zou ondersteunen, en die zou voldoen aan de drie hoofddoelen van het team: minder ploeteren, een hogere productiviteit en gewoon dingen gedaan krijgen. Nadat het team tevergeefs verschillende tools had geprobeerd, vond het er eindelijk een die wel doel trof.

In nauwe samenwerking met Adaptavist, een Atlassian Solutions Partner, paste Loblaw Digital een schaalbare totaaloplossing voor tests aan. Die verkorte de testtijd, verhoogde de productiviteit, verbeterde de communicatie en stelde het bedrijf in staat om effectiever te voldoen aan hun missie om te helpen klanten 'het goede leven te leven'.

Een overvloed aan mensen, platforms en permutaties

Twee organisaties, honderden medewerkers, tal van bestaande platforms, tientallen merken, drie breekpunten, twee talen, meerdere browsers en twee testmethoden.

Justin: "Onze tijd om te leveren is meerdere keren vertienvoudigd."

Justin Watts

Directeur Productivity Engineering

Dit zijn slechts enkele van de variabelen die de testprocedures van Loblaw Digital zo complex maakten. Zelfs de rol binnen de grotere organisatie is meer betrokken dan de gebruikelijke relatie van een interne partner. Loblaw Digital is niet alleen verantwoordelijk voor het bouwen van digitale eigendommen voor meer dan 20 merken, maar ook voor de winst- en verliesrekening voor al die eigendommen. "Omdat we de platforms die we bouwen zelf onderhouden, vinden we testbaarheid, herbruikbaarheid en schaalbaarheid heel belangrijk", legt Justin uit. "We zijn eigenaar van de technische schulden, dus het is in ons eigen belang om net zoveel zorg te besteden aan het voortraject als aan het eindresultaat."

Aangezien Loblaw zich in de retailmarkt bevindt, moet het bedrijf ook rekening houden met de totale klantbeleving, van de gebruiker die de bestelling plaatst tot Loblaw die deze uitvoert en de klant die deze mogelijk persoonlijk ophaalt. Deze overwegingen maakten Justins verlanglijstje voor een testmanagementsysteem nog langer.

Na een uitgebreid gesprek beperkte het engineeringteam de criteria tot vijf hoofdvereisten voor hun nieuwe oplossing:

  1. Handmatige en automatische testmogelijkheden van wereldklasse
  2. Een systeemeigen gebruikersinterface en API-interfaces
  3. Integratie met een van de bestaande platforms, zoals Jira Software
  4. De mogelijkheid om honderden permutaties te volgen
  5. Duidelijke, deelbare testresultaten voor zowel technische als niet-technische belanghebbenden

Het was een hele opgave, maar het team had er vertrouwen in dat ze de juiste partners konden vinden met de juiste tools om hun droom waar te maken.

De jacht naar de perfecte oplossing

Justin en zijn team zochten al meer dan een jaar naar een oplossing. Loblaw Digital gebruikte al Jira Software voor elk project, evenals Confluence voor documentatie en samenwerking. Daarom hoopten ze een tool of app te vinden die hun Atlassian-stack zou uitbreiden.

De groep begon met een bezoek aan de Atlassian Marketplace om integraties van derden te verkennen, maar het beviel ze niet dat ze bij de meeste tussen interfaces moesten navigeren om taken uit te voeren. Ook werden apps geprobeerd die rechtstreeks in de gebruikersinterface van Jira Software waren ingesloten. Dat was echter lastig omdat de app testcases als issues zou behandelen. Dat leek meer een tijdelijke dan een definitieve oplossing.

Uiteindelijk stuitte het team op Adaptavist Test Management for Jira (TM4J), een Jira Software-app die functioneert als een totaaloplossing. "Het beste testmanagementsysteem is het systeem waarvan je niet beseft dat je het gebruikt", zegt Justin. "Adaptavist ... voelde als een testmanagementproduct binnen Jira Software."

Justin kocht TM4J Server zonder op voorhand te proberen en begon er toen mee te experimenteren. Binnen een maand hadden hij en zijn team een maatwerkoplossing gemaakt die perfect aan hun behoeften voldeed.

Een partner in crime die TM4J tot het uiterste dreef

Toen Cristiano Caetano, productmanager bij Adaptavist, zag wat Loblaw Digital aan het doen was, kon hij niet wachten om meer te weten te komen. "We dachten: 'Wat proberen deze jongens in vredesnaam te doen met de API?!'" zegt hij lachend. Hoewel andere bedrijven misschien zouden hebben geprobeerd om Loblaw Digital te stoppen, deden Cristiano en zijn team enthousiast olie op het vuur. "We zagen dat ze probeerden het product te pushen op manieren die we zelf niet eens hadden bedacht. Waarom zou je ze dan niet helpen en hen in staat stellen verder te gaan?"

Adaptavist nam contact op met Justin om beter te begrijpen hoe zijn team de tool gebruikte. Zo begon een prachtige samenwerking die tot op de dag van vandaag voortduurt. Caetano legt uit: "Ze geven ons feedback en wij voeren een gesprek om ontbrekende functies en ideeën op te nemen om het beter te maken."

Met één suite en één set voor zowel geautomatiseerde als handmatige tests konden we opschalen van maandelijkse naar tweewekelijkse releases en later naar wekelijkse releases. We zijn nu dagelijks bezig. Dat betekent dat dit systeem schaalt.

Justin Watts

Directeur Productivity Engineering

Van tijdrovend en complex tot snel en eenvoudig

Loblaw Digital kon met TM4J en Jira Software het testproces transformeren dat door hun interne team en de hele moederorganisatie wordt gebruikt.

Neem bijvoorbeeld permutaties, een van de meest complexe en frustrerende testuitdagingen. Door alle variabelen heeft elke test 384 permutaties. Loblaw Digital zou met andere tools voor het beheren van tests 384 tests moeten schrijven en opslaan. Jira Software en TM4J maken het mogelijk om 'omgevingen' te gebruiken om tests uit te voeren en contextuele resultaten te uploaden.

"We zouden testrapporten genereren voor elke permutatie, maar het is erg moeilijk om deze te verzamelen en rapporten te vergelijken", legt Justin uit. "We realiseerden ons dat dezelfde patronen in één oogopslag zichtbaar zouden worden als we de tests op een X-Y-as plaatsten (tests op permutaties) en groene of rode vierkanten zouden gebruiken."

Deze onthulling maakte testresultaten niet alleen sneller en gemakkelijker te lezen voor het engineeringteam, maar zorgde er ook voor dat ze begrijpelijker werden voor niet-technische belanghebbenden. Adaptavist was zo onder de indruk van de rapporten dat het bedrijf de functie aan TM4J toevoegde.

Loblaw Digital gebruikte TM4J en Atlassian ook om de productiviteit te verhogen door een Slack-app te maken (die liefkozend 'Jeanie' wordt genoemd). Deze automatiseert het proces van het uitvoeren van tests en het rapporteren van resultaten. Het team van Justin profiteert niet alleen van de automatisering zelf, maar ook van de resulterende artefacten. "TM4J is echt geweldig omdat het een artefact genereert in Jira Software, zodat iedereen terug kan gaan en kan zien welke tests werden uitgevoerd en wanneer ze klaar zijn. Bovendien kunnen ze talloze mooie rapporten bekijken", vertelt hij. "Atlassian helpt ons om goed te handelen en feedback te geven aan alle anderen, terwijl we tegelijkertijd kunnen werken zoals we dat willen, zonder verschillende gebruikersinterfaces te hoeven gebruiken."

Een andere uitdaging die Loblaw Digital met TM4J en Jira Software oploste, was het opsporen van defecten. Justin meldt dat een van zijn favoriete dingen bij het gebruik van Jira Software voor tests de mogelijkheid is om problemen, story's en tests samen te brengen in een 'traceerbaarheidsmatrix'. "Wat daar zo geweldig aan is, is dat we een rapport kunnen genereren voor elke test die we uitvoeren en elk story waarop deze betrekking heeft. Op die manier kunnen we ervoor zorgen dat er niet per ongeluk bugs doorheen glippen", zegt hij. "Jira Software waarschuwt je ook als er iets is dat niet wordt aangepakt. Dit is geweldig voor stakeholders en houdt ons eerlijk."

Snelheid, eenvoud en schaalbaarheid, allemaal vanuit één oplossing

Loblaw Digital had drie hoofddoelen voor hun oplossing voor het beheren van tests: minder gedoe, verbeterde productiviteit en resultaten boeken. De oplossing van Jira Software + TM4J overtrof de verwachtingen op alle fronten.

Vervelend werk is nu eenvoudiger omdat de tools passen bij de manier waarop het team werkt. Justin legt uit: "Jira Software is oneigenzinnig. Ik vind dat geweldig. We zijn in staat om eigenzinnige patronen te bouwen en te gebruiken die voor ons volkomen logisch zijn."

Dankzij soepele, flexibele workflows is het team productiever en wordt het werk sneller uitgevoerd. Justin: "Onze tijd om te leveren is meerdere keren vertienvoudigd. Met één suite en één set voor zowel geautomatiseerde als handmatige tests konden we opschalen van maandelijkse naar tweewekelijkse releases en later naar wekelijkse releases. We zijn nu dagelijks bezig. Dat betekent dat dit systeem schaalt."

We zijn moeiteloos overgestapt van waterval naar scrum naar Kanban zonder van tool te wisselen. We hebben met het product kunnen meegroeien en hebben niet het gevoel dat het ons in de weg zit.

Justin Watts

Directeur Productivity Engineering

De resultaten waren tot nu toe onmiskenbaar, maar Justin is nog enthousiaster over wat hem te wachten staat. Het team voert nu ongeveer 200.000 tests per dag uit. Dat versnelt de levering van nieuwe functies en verkort de regressietijden met 250%. En dan is er nog de overtuiging dat het proces wel vijf keer sneller kan worden gemaakt.

"We waren bang dat we een tool zouden kiezen die ons slechts gedeeltelijk zou helpen", geeft Justin toe. "Maar we zijn moeiteloos overgestapt van waterfal naar scrum naar Kanban zonder van tool te wisselen. We hebben met het product kunnen meegroeien en hebben niet het gevoel dat het ons in de weg zit."

Justin heeft zoveel vertrouwen in de schaalbaarheid van de oplossing dat hij niet terugdeinsde toen het moederbedrijf haar oog op de tools van Loblaw Digital liet vallen en deze wilde toepassen in de grotere onderneming. "Ons gebruik van Atlassian heeft hen jaloers gemaakt", grinnikt Justin. "We hebben een licentie voor 2000 gebruikers omdat iedereen die met ons samenwerkt in de onderneming de tool wil gebruiken."

Het bekrachtigen van werknemers om meer waarde aan het bedrijf te bieden, heeft klanten meer waarde opgeleverd. Loblaw is er, met de steun van Atlassian en Adaptavist, trots op dat het bedrijf hun belofte kan waarmaken om klanten sneller en beter dan ooit tevoren te helpen 'het leven goed te leven'.

audi-logo

Audi's 6000 man tellende Research & Development-team werkt naadloos samen met leveranciers uit de hele wereld.

Domino's-logo

Het stroomlijnen van hun DevOps-processen heeft geholpen om betere service (en pizza) sneller te leveren.

Appdynamics-logo

Van een afgeschermde start tot een team van teams, ontdek hoe de activiteiten van AppDynamics transformeerden.

The Telegraph-logo

Betere klantondersteuning en snellere oplossingstijden helpen The Telegraph om 25 miljoen gebruikers per maand te bereiken.