O que cada gerente de produto precisa saber sobre análise de produto

Os dados que inferimos da análise de produtos nos mostram como os usuários realmente usam o produto.

Sam Tardif Sam Tardif
Browse topics

Como gerentes de produto, aproveitamos todas as oportunidades para saber mais sobre nossos clientes, pois entender suas necessidades é fundamental para a criação de produtos úteis. Isso significa conduzir entrevistas de cliente, fazer pesquisas e examinar as análises de produtos. Os dados que inferimos da análise de produtos nos mostram como os usuários realmente usam o produto – não o que eles querem fazer, como pensam que estão usando ou até mesmo como achamos que eles estão usando.

A diferença do desenvolvimento de software é o uso da metodologia ágil – que poderia trazer benefícios para a construção da casa, também. Essa metodologia permite que várias equipes respondam às mudanças rapidamente. Então, como usar a metodologia ágil, que trabalha com entregas frequentes e contínuas, coexiste com um planejamento de longo prazo e que leva em conta um contexto mais amplo? É possível fazer uma previsão realista para um longo período sabendo que a única constante é a mudança?

Como um PM, perguntas como, "Quanto tempo os usuários gastam por dia?" "Quais ações mais tomam?" "Com quais recursos se acostumar menos?" são muito valiosas para a compreensão de seus usuários e nos mostram como melhorar a sua experiência. Nessa publicação, explicarei o que a análise do produto é e por que você deve usá-la; como obter verdadeira compreensão dos usuários para poder pagar a "dívida de empatia"; e como usar a análise para ajudar na orientação de novos desenvolvimentos de recursos

Vamos começar!

Uma introdução à análise de produto

A fim de obter uma compreensão quantitativa do que os usuários estão fazendo com seu produto, o primeiro passo é implementar a análise. A ideia é acionar um evento para cada ação que um usuário pode tomar em seu produto para que você obtenha uma exibição agregada de quantos usuários usam um recurso e a frequência de uso. Por exemplo, se você deseja controlar o número de vezes que um usuário clica em um botão específico, você pode acionar um evento chamado "big-red-button.click". Então, será possível ver quais recursos precisam de trabalho, quais são os mais importantes, e use essa informação para priorizar as mudanças. 

Análise de produtos | Coach Agile Atlassian
Dica profissional:

Há várias soluções que fornecem uma estrutura para adicionar eventos de análise e rastreá-los. Como ponto de partida, confira o Google Analytics ou o KISSmetrics.

Na Atlassian tentamos facilitar ao máximo para que todos obtenham dados e possam executar suas próprias consultas e relatórios. Usamos algumas ferramentas desenvolvidas internamente para fornecer estes serviços, mas ferramentas, como o Google Analytics, também ajudarão você a começar. Isso fez com que todos, de desenvolvedores a PMs e designers, fizessem perguntas sobre o uso e tentassem compreender o impacto do que criamos.

"Dívida de empatia": o mais novo tipo de dívida

Vamos testar este novo termo, "dívida de empatia".

A análise do produto pode ajudá-lo a pagar a dívida de empatia de duas maneiras: com feedback qualitativo reunido por meio de atividades, como teste de conceito e entrevistas com clientes; e com dados quantitativos coletados no produto com itens como análise de produto e pesquisas NPS.

Como exemplo, o Confluence está sendo usado há bastante tempo e tem vários recursos que têm pouca ou nenhuma análise. Um desses é o painel, que é o início da jornada da maioria das pessoas com o Confluence. Estamos no processo de revisá-lo agora. Recebemos alguns feedbacks sobre o painel de entrevistas do cliente, mas não tínhamos todas as análises do produto necessárias para realmente entender o uso de uma perspectiva quantitativa. Recebemos várias perguntas sem resposta, como:

  • Quanto o painel será usado? Quantas vezes as pessoas visitam o painel em uma sessão de Confluence típica?
  • Para que as pessoas realmente usam o painel? O feed Todas as atualizados? O feed Popular? Para navegar?
  • O que as pessoas querem do painel? A gente pode determinar os melhores elementos para colocar em destaque com base nas visitas?

Estas são algumas perguntas fundamentais para as quais precisávamos de respostas antes de embarcar em uma mudança para uma das páginas mais visitadas no Confluence. Se não tiver análise em seu produto, ou mesmo um recurso específico que está pensando em mudar, então você está no mesmo barco e deve ser muito cauteloso sobre quaisquer decisões. Está na hora de pagar essa dívida de empatia!

Em nossos testes de painel, aprendemos que uma das ações mais comuns tomadas no painel era ver as "páginas favoritas". Este foi um achado super importante e que não estava necessariamente em nossa hipótese inicial. O que nos leva ao argumento principal aqui: pague dívida de empatia assim que puder – se não houver análise em seu produto, adicione-a o mais rápido possível e comece a usar dados para ajudar a informar suas decisões de produto. Caso contrário você tomará decisões importantes no escuro. E lembre-se de que as análises não mentem! Elas nos mostram exatamente o que os usuários estão fazendo com o produto, mas tente ir um pouco além e use a análise para entender o que os usuários realmente querem.

Testando o futuro antes que ele esteja aqui

Embora a adição de análise do produto possa ser valiosa para a compreensão de como os usuários usam os recursos existentes, ela também é extremamente valiosa para testar novos recursos e experiências. Se você tem um objetivo claro de quanto quer que seu recurso seja utilizado, a análise de produto ajuda você a trabalha de acordo com o antigo mantra ágil de falhar rapidamente e iterar até ter êxito.

O processo que usamos geralmente é parecido com este:

  • Defina uma hipótese clara para uma mudança de produto – por exemplo, "Ao aumentar o tamanho da caixa de comentários, a gente espera ver um aumento de 5% nos comentários."
  • Crie a implementação mais barata possível para essa mudança, carregado com quaisquer eventos analíticos que precisemos e isso nos permitirá testar nossas hipóteses.
  • Implemente a mudança em um subconjunto de clientes usando um teste A/B.
  • Espere de braços cruzados pelos resultados.
  • Analise em detalhes os resultados, com a ajuda de um analista caso haja mudanças mais complexas e decida se as mudanças foram bem sucedidas.

Para nossas mudanças no painel acabamos criando três painéis muito "opinativos", cada um promovendo um caso de uso diferente e um conjunto de comportamentos. Fizemos a comparação por meio desse processo (apesar de nossa hipótese ter sido um pouco mais complicada) e isso funcionou muito bem para a gente. Mas há algumas armadilhas comuns que aprendemos – às vezes, da maneira mais difícil – sobre as quais você deverá pensar antes de testar os novos recursos desta forma.

Alguns antipadrões que devem ser observados:
  • Não existe nada pior do que chegar ao final de um experimento e notar que você não tem todos os eventos que precisava testar... Tente fazer suas análises antes de rodar um experimento usando alguns dados fictícios, e vai notar rapidamente algumas lacunas no que está capturando.
  • Levantar hipóteses demanda tempo, mas você ter certeza de que tem uma e de que consegue prová-la ou refutá-la com as análises do procuto que você tem antes de lançar. Fazer uma análise de dados fictícios antes do lançamento vai ajudar a testá-lo, também.
  • Tenha certeza de que está fazendo testes com uma quantidade suficiente de usuários e por um período longo o bastante de tempo. Você vai querer que seus dados sejam estatisticamente significativos.
  • Esteja preparado para jogar no lixo quaisquer ideias ruins! Como mencionei, você vai querer testar os recursos da forma mais barata possível e rodar os testes o mais rápido possível. Falhar logo é bom. 

Apenas não se esqueça de ouvir seus usuários também

Como mencionei acima, é ótimo ter informações advindas dos dados, mas ser totalmente direcionado pelos dados pode, às vezes, não deixar que você veja a experiência geral que está criando para os usuários. Depender totalmente dos dados também pode ser um pouco prejudicial quando for necessário tomar decisões e você não tiver os dados necessários.

Análise de produtos ágil | Coach Agile da Atlassian

A análise de produto expõe a realidade crua de como as pessoas usam o produto, ou até mesmo um recurso específico, mas isso pode ser muito unidimensional. Combinar o que você acha que sabe de dados de análise de produto com feedback qualitativo em entrevistas do cliente, workshops de teste de conceito e debates pode dar uma visão mais completa do que está acontecendo para que você possa criar o melhor produto possível.