Sei sulla pagina 1di 18
Métricas para Designers Como medir e otimizar os produtos digitais que construímos. Willian Sertório made
Métricas para
Designers
Como medir e otimizar os produtos digitais que
construímos.
Willian Sertório
made with
Psiu! Tem desconto no final deste e-book. ;)
Psiu!
Tem desconto no final deste e-book. ;)

Introdução

Gostar de métricas é melhor do que não gostar de métricas

Como UX Designers, um dos nossos passatempos favoritos é rir de vagas de emprego mirabolantes. Tem oportunidade até pra UX que manja de C#. Risos.

Porém, em verdade vos digo: se uma vaga exigir conhecimento em métricas, não torça o nariz. Entender de números está dentro do corpo de conhecimento de um UX Designer, embora o assunto não seja tão abordado.

Além do mais, é uma skill que pode nos ajudar a sair de um nível mais operacional e atuar de forma estratégica em um projeto.

Visão holística

Silos acontecem. É muito comum nos enfurnarmos e esquecermos de como o negócio funciona como um todo, focando apenas em produto, independente do tamanho da empresa. Como designers, muitas vezes gastamos energia brigando por picuinhas e minúcias. Busque visualizar os números que movem a empresa onde você trabalha. Detalhes fazem a diferença sim, mas apenas conhecendo os números que movem o negócio podemos saber se essa diferença importa.

Menos hipopótamos

Tristan Kramer cunhou o termo HIPPO pra definir algo que todo designer conhece: a famosa carteirada de quem ganha mais. Hippo = Highest Paid Person’s Opinion. Você pesquisou, testou e validou suas hipóteses, mas mesmo assim sua opinião não foi levada em conta. Alguém falou mais alto e você ficou sem argumentos. Acontece.

Quando há um esforço para que todos tenham o mesmo entendimento sobre o que move o negócio, esse cenário fica mais democrático. Não é um briefing. É acompanhamento diário. Números são uma ferramenta de comunicação, no final das contas.

Uma boa planilha de métricas pode ser o canal para discussões produtivas e pautadas em fatos, e não apenas opiniões.

UX/UI/ETC

Muitos designers reclamam que são mais operacionais do que gostariam. Queremos atuar em decisões de negócio, por mais que a palavra “negócio” soe tão coxinha pra gente, natural born pasteleiros. Alguns desenvolvedores também sentem isso. É um ciclo vicioso: reclamamos que nossas ideias não entram no sprint, mas quando os problemões chegam, não temos repertório e visão de negócio para sugerir algo que vá realmente resolvê-los. Cabe à chefia cuidar disso, enquanto apenas executamos o job com nossos fones de ouvido.

Entender de métricas é, portanto, se posicionar como um profissional mais estratégico. O dever dos gestores é fazer com que todos tenham o mesmo entendimento sobre os números, fazendo com que falemos a mesma língua, independente do departamento.

***

Este e-book é um compilado de textos que produzi para o portal uxdesign.cc. O sucesso dos textos foi tamanho que comecei a rodar o Brasil divulgando seu conteúdo em forma de palestras e cursos. Espero que este e-book te ajude na sua formação como designer ou gestor.

Boa leitura!

Willian Sertório

Métricas do meu umbigo:

nem sempre o melhor produto vence

Conversando com o Rodrigo Dantas, da Vindi, ele mandou a seguinte pérola. “Startup sexy é aquela que paga as contas no final do mês.” Será que nós, como profissionais de UX, não estamos focando demais em produto e esquecendo do negócio como um todo?

IE versus Netscape. VHS versus Betamax. Playstation 3 versus Nintendo Wii. A lista é extensa. O melhor produto, no final das contas, nem sempre vence. No mercado, existem inúmeras variáveis para o sucesso de uma solução.

Existe um esforço para criar métricas que os profissionais de UX possam acompanhar (HEART, entre outros). Porém, dada a natureza do profissional de UX, não faz sentido que ele feche o escopo do seu trabalho apenas em métricas de produto, e não de negócio.

Vamos considerar o profissional de UX que trabalha só. Vamos imaginar então que ele quer usar o HEART escritório.

Política, de novo Você briga para que suas opiniões sobre usabilidade e experiência do usuário tenham espaço no pipeline de desenvolvimento. Você se esforça, planeja e executa. Agora você ainda quer entrar na reunião com seu óculos do Woody Allen e nos dizer que métricas devemos acompanhar? Ora!

Como UX Designers, já temos problemas políticos demais, não acha? Quando falo de métricas, acho importante sim medir resultados de produto, desde que eles estejam atrelados a algum ponto do negócio. Não dá pra medir solução sem antes nem entender o problema.

Denominador comum Quando desempenhamos bem nosso papel de UX, somos diplomatas. Ajudamos as iniciativas do pessoal de marketing, usamos o customer service como fonte de informação e ainda sentamos lado a lado com os desenvolvedores para desenhar fluxos.

Como um profissional transversal, não faz sentido usar um framework para medir

o negócio apenas sob o nosso ponto de vista. Medir o próprio umbigo. Para o UX que trabalha sozinho, as chances desses números serem desconsiderados é muito grande. A ideia é que todos os times se entendam e falem a mesma língua, e não criar mais motivos para desalinhamento.

Contexto Atire a primeira pedra aquele que nunca desenhou uma série de melhorias no produto e, no final das contas, elas nunca entraram em um sprint. Ou demoraram tanto para serem implementadas que, no final, perderam o sentido. Será que esses ítens eram realmente críticos para o negócio ou só para o produto? Tente fazer esta distinção.

O HEART foi criado pelo Google, uma empresa de grande porte, criada no Vale do

Silício, com (imagino) dezenas de departamentos focados em UX. O lugar que você trabalha tem essas características?

O HEART endereça os principais pontos de um produto, mas não de um negócio

digital. Brigar por uma abordagem assim quando você tem poucos recursos (pessoas, tempo, grana) é um cruzada que pode não valer a pena.

Entendo que cada departamento tenha seus KPIs, mas dentro do nosso papel de UX — profissionais holísticos e transversais — não faz sentido termos métricas só nossas.

A história mostra que quem só focou no produto nem sempre se deu bem. Então

é hora de deixar os preconceitos de lado e assumir que UX deve, cada vez mais, pensar em negócio.

A gente consegue. Bora.

Dois cuidados e a natureza de uma boa métrica

Antes de incorporar a análise de métricas no nosso dia-a-dia, existem dois cuidados que devemos tomar.

Métricas de vaidade São aqueles números que, fora do contexto, não querem dizer muita coisa. As vezes são números volumosos (número de downloads, curtidas na fanpage, número de usuários registrados), mas que estão longe de descrever a realidade de um negócio digital. Elas não se explicam por si só e não nos dizem que atitudes tomar em seguida. É o tipo de número que, fora do contexto, leva times a tomarem decisões superficiais de produto.

Paralisia da análise Ocorre quando temos muitos dados e queremos analisar todos eles profundamente. É uma espécie de procrastinação. Se você quer medir tudo, ficará inseguro. E não vai conseguir agir até que meça mais. Ad infinitum.

Agora, o que é uma boa métrica? No livro Lean Analytics, Ben Yoskovitz discorre sobre o assunto e levanta algumas características. Ele resume o tema neste post, do qual traduzi três pontos abaixo.

1. Uma boa métrica é uma taxa ou uma razão. Medir razões é melhor do que medir um valor absoluto. Por exemplo, “Novos usuários por dia” é melhor do que “Total de usuários”. Números absolutos tendem a ser métricas de vaidade, segundo o autor.

2. Uma boa métrica é comparativa. “Aumento na conversão da semana passada” é melhor do que “2% de conversão”. A chave aqui é fazer uma análise coorte, onde você acompanha uma métrica através de diferentes grupos de pessoas, em diferentes períodos de tempo.

Por exemplo, você gera tráfego para o seu produto através de Adwords e mede a conversão por uma semana. Mas você também mede engajamento e desistência (churn) para os mesmos usuários. Então, você faz uma mudança no seu produto e mede estes mesmos números em outro grupo de usuários, no mesmo período de tempo. Cada um desses grupos é denominado como um coorte.

3. Uma boa métrica é simples de entender. De outra forma, as pessoas não vão se lembrar dela, e nem discutir sobre ela.

Pra fixar: um exemplo de métrica que possui estas três características é o famoso “Quilômetros por hora”. É uma razão matemática (relação existente entre dois valores de mesma grandeza), é comparativa e é simples de entender.

Com isso em mente, o próximo passo é enxergar como é o funil de conversão do seu produto, e a partir disso, começar a criar experimentos de UX para melhorá- lo.

AARRR: o funil é seu amigo

Agora que já vimos porque gostar de métricas é legal, os perigos políticos em focar só em métricas de produto e quais as características de uma boa métrica, é hora de, enfim, conhecer o funil.

Dave McLure, figura importante na cena de startups, criou um framework (estrutura) de métricas em meados de 2007. Este framework permite visualizar de maneira rápida os aspectos mais importantes do seu produto. Deu tão certo que hoje é a forma padrão com que startups e outros produtos digitais comunicam seus números.

Chame-se AARRR. Sim, semelhante ao característico grunhido dos piratas. Você pode achar mais informações procurando por “startup metrics for pirates” no Google.

Esta é a representação visual deste framework, que é por natureza um funil. Abaixo, vamos entender o que significa cada parte.Aquisição

Como os usuários encontram seu produto? Aqui, medimos quais os canais que trazem tráfego para o seu produto. Ads, SEO, mídias sociais, e-mail marketing.

Quais os seus canais mais volumosos? Quais convertem mais? E o custo- benefício?

Ativação Mostra o que as pessoas fazem assim que aterrissam no seu produto. A pergunta aqui é: os usuários estão estão clicando no grande botão vermelho de cadastro que você colocou?

Retenção Aqui medimos se os usuários estão voltando ao seu produto. Vale acompanhar abertura de e-mails de drip marketing, logins, por exemplo.

Referência Como os usuários contam aos outros sobre seu produto. Isto pode ser turbinado através de campanhas e concursos.

Receita Dinheiro. Nem todos os produtos digitais batem nesta tecla. Aqui entra seu modelo de negócio e como você monetiza a brincadeira.

E a conversão fica onde? Conversão é o que ocorre entre as etapas do funil. De aquisição para ativação, por exemplo. É aí onde o trabalho ocorre: fazer o usuário andar o máximo possível dentro do funil. Alguns times até separam suas funções de acordo com uma dessas etapas. Exemplo: um time multidisciplinar vai focar apenas em Ativação, enquanto outro em Retenção.

Então basta fazer uma planilha com tudo isto, medir e estamos no caminho certo?

Quase isso. Pense no framework AARRR como um denominador comum. Ele é um bom ponto de partida para colocar seu time na mesma página, por exemplo. Todas as métricas que você precisa olhar estão aí.

“Poxa cara, você criticou o framework HEART, mas algumas das métricas dele também aparecem nesse AARRR.”

Correto. A questão é que o AARRR tem uma abordagem mais voltada para negócio do que produto. Ele é mais sintético, além de ter a estrutura de funil, que mostra como os usuários estão navegando através de números. O funil conta uma história.

No próximo texto, vamos entender como o tipo de negócio deve encarar cada uma dessas etapas do funil.

O que move seu funil? Um motor.

Motor de crescimento é aquilo que faz o negócio andar de maneira sustentável. Sem truques de marketing. Sem picos inexplicáveis de audiência. Sustentável é aquilo que tem impacto no longo prazo. Este conceito é apresentado no livro Lean Startup, do Eric Ries.

Não se engane: o conceito pode ser aplicado em qualquer negócio digital, independente ou não de ser startup.

Entendendo qual o motor de crescimento do seu negócio fará com que você foque nos números corretos. Vamos ver quais são eles.

1. Motor recorrente

Também conhecido como Sticky. Neste modelo, os clientes são retidos e otimizados ao máximo. Pense em operadoras de celular. Elas querem te reter e fazer com que você compre novos produtos. O mesmo ocorre em marketplaces, como o Ebay. Ele quer que você, como vendedor ou comprador, utilize cada vez mais sua plataforma. Fidelização é a palavra aqui.

Neste modelo, o crescimento se dá quando a taxa de aquisição de novos clientes supera a taxa de clientes não retidos. Ou seja, aquisição > desistências (churn) = crescimento.

Desta forma, as etapas que tem mais peso no seu funil AARRR são Ativação e Retenção.

2.

Motor pago

Aqui entram modelos de negócio onde a grana (Revenda, no modelo AARRR) fazem a coisa rodar. Para este modelo, a fórmula de crescimento é:

LTV > CPA = crescimento.

LTV é a sigla para lifetime value. Ou seja, quanto aquele usuário vai te retornar em grana pelo período que ficar no seu site. CPA é o Custo de Aquisição deste usuário, quanto você gastou em marketing para trazer este cara.

Digamos que você gaste R$10,00 para adquirir um usuário pagante. Se o seu produto custar mais de R$10,00, logo, você terá crescimento.

Para clarear um pouco: quem utiliza este modelo é o Netflix, Amazon e serviços de assinatura em geral. Quanto mais barato for seu canal de aquisição, melhor.

Métricas chave: Aquisição e Retenção.

3. Motor viral

Facebook, Twitter, Gmail e redes sociais. Pois é, nem tudo é viral por natureza. As chaves deste modelo são Aquisição e Referência. Para cada usuário cadastrado no seu site, quantos amigos ele traz junto? Vamos calcular o coeficiente viral.

Para ser viral, o coeficiente tem que ser maior que 1.

Digamos que você tem 100 usuários em seu site, que possui um sistema de “Convide seus amigos”. Multiplique pela média de convites que cada um manda para seus amigos. Digamos que cada um convida, na média, 15 amigos. Agora, encontre a taxa de convidados que realmente viraram usuários. Vamos pensar em 10%. Ok. Neste cenário, temos 1.500 convites enviados. Aplicando os 10% de conversão, temos 150 novos usuários.

100 usuários iniciais nos trouxeram 150 novos usuários. 150/100 = 1.5. Parabéns, seu coeficiente é maior do que 1 e você tem um produto viral.

Quantos mais motores, melhor?

Não. É muito difícil focar em mais de um motor ao mesmo tempo. As práticas e estratégias são diferentes entre si. Segundo o próprio Ries, o ideal é pensar apenas em um.

Acredito que só de bater o olho você já consiga identificar qual o motor de crescimento da sua empresa.

Com o AARRR, conseguimos enxergar os números de uma maneira mais sistêmica. Com os motores, entendemos quais métricas são mais importantes para cada tipo de produto.

Assim fica mais fácil alinhar o time e tomar decisões que realmente vão impactar o produto. Não importa se acertamos ou erramos, e sim se aprendemos e falamos a mesma língua.

As decisões ficam mais democráticas e ninguém ganha no grito ou na carteirada No último texto dessa série, vamos ver como trabalhar de forma mais experimental e pautados em métricas.

Trabalhando com métricas, na prática

Antes de começar, uma introdução sobre a metodologia lean.

“A ação certa, na hora certa”. O movimento lean prega uma abordagem mais ágil de trabalho, onde nós construímos, medimos e aprendemos.

É desperdício construir e não medir.

Exemplo: Não colocar o Google Analytics no site, não criar um funil, não acompanhar as métricas semanalmente.

É desperdício medir e não aprender.

Exemplo: Não discutir com seu time sobre as métricas, não criar experimentos

para melhorar os números de forma sistemática.

É desperdício aprender e não usar isso para construir algo melhor dentro do

mesmo escopo. Exemplo: Não documentar o que foi aprendido nos testes e usar isso de norte para o próximo lançamento.

O jeito tradicional de trabalhar — Waterfall — é repleto de desperdícios para nossa realidade digital. Esta forma de labutar foi criada em um contexto de materiais físicos, onde sim, você tinha que planejar muito bem algo antes de colocar na linha de produção. Errar custava caro.

Com a internet, isso mudou bastante.

Podemos construir landing pages, protótipos, campanhas de Facebook e qualquer sorte de material digital a um custo muito baixo. Hoje podemos criar, medir e aprender de maneira iterativa. Fazendo um pouco de cada vez, e melhorando a cada sprint.

Lean é sobre mitigar riscos. Aquele nosso roadmap de 6 meses nada mais é do que uma hipótese. Se não for validado, ele é um risco.

O profissional que trabalha com lean é pautado por experimentos. Experimentos

orientados por hipóteses e números. Não vamos confundir isso com ser guiado *apenas* por números. Falarei deste ponto no final do texto.

Vamos entender como esse processo acontece no dia-a-dia.

0. Pegue uma cópia da sua planilha de experimentos. Ela vai te ajudar a documentar e acompanhar seus testes. Ela foi criada pelo Paulo, da Neue Labs, e

é muito fácil de usar.

1. Agora, você precisa definir um objetivo. Um bom objetivo é quantitativo (pode

ser medido) e tem um período de tempo atrelado (comparativo).

Melhorar ativação. (objetivo mal definido) Melhorar a ativação em 20% dentro de uma semana. (objetivo bem definido)

2. Agora é hora de escrever sua hipótese. O que achamos que vai fazer com que

esse objetivo seja atingido?

Exemplo:

Trocar a cor do botão para azul vai melhorar a ativação em 20% em uma semana.

3. Solte seu experimento. O ideal é que seu experimento esteja o mais isolado

possível. Evite que fatores externos (uma nova campanha publicitária, eventos

sazonais) causem ruído nos seus números. SISO.

4. Documente o aprendizado. Volte na sua planilha e escreva se vocês atingiram ou não o resultado desejado.

“Trocar a cor do botão para azul não melhorou a ativação em 20% em uma semana. Ficamos apenas em 5% de melhora”.

5. Por fim, defina os próximos passos. Após discutir os resultados com a sua equipe, vocês devem listar aqui o que vocês aprenderam (não muito no caso de mudar a cor de um botão…) e quais as novas hipóteses em cima disso.

Experimentos são sempre assim, só medimos números?

A natureza de um experimento é sim, validar algo de forma quantitativa. Porém,

isso não quer dizer que o jeito de experimentar deve ser sempre quantitativo. Não importa muito a forma que você faz um teste, o importante é medir e aprender com os resultados.

Que tipos de experimento posso fazer?

Experimentos podem ser entrevistas com usuários, landing pages, testes A/B, Google AdWords, campanhas de crowdfunding, um vídeo explicativo, um concierge, um blog, um protótipo digital ou de papel.

“Numbers alone won’t tell you the answer; instead you must think critically about the qualitative characteristics of your business.” Peter Thiel — Paypal

Por fim, existem situações onde os números não dizem muito. Nessa hora devemos parar de analisá-los e começar a fazer perguntas. Dar um passo para trás.

A análise de métricas é uma ótima ferramenta para quem quer desenhar não apenas produtos, mas negócios relevantes.

Métricas são o meio, e não o fim. Nada é feito para elas, mas através delas.

Sobre o Autor

Willian Sertório

Tenho (mais ou menos) 10 anos de experiência na construção de produtos digitais.

Na Luego, coordenei a arquitetura da informação de projetos para Itaú, Batavo, Petrobrás, FGV e CCAA. Fui gerente de produto do Elefante Verde, a primeira franquia de marketing digital no Brasil. Na Neue Labs, atuei como UX Designer, liderando projetos para a Lego Education e Hospital Albert Einstein.

Hoje sou sócio da Funeel, um laboratório de marketing focado em geração de demanda, onde atendemos Bombril, Kellogs, Porto Seguro e Portal do Franchising. Escrevo para o uxdesign.cc e sou professor de métricas na Gama Academy.

Siga-me nas redes sociais

Mande um oi para will@funeel.com.br

na Gama Academy. Siga-me nas redes sociais Facebook LinkedIn Medium Slideshare Mande um oi para will@funeel.com.br
VOCÊ GANHOU 10% OFF NO WORKSHOP DE MÉTRICAS Workshop voltado para designers, analistas de negócio
VOCÊ GANHOU 10% OFF NO
WORKSHOP DE MÉTRICAS
Workshop voltado para designers, analistas de negócio e
gerentes de produto que querem tomar decisões
baseadas em dados. Vamos aprender quais são os
elementos para se trabalhar com dados no dia-a-dia.
Data: 19/05/2017
Local: Porto Alegre - RS
Duração: 4 horas
INSCREVA-SE COM 10% DE DESCONTO
made with