Um grande desafios dos times de produto, marketing e growtn é estabelecer um processo lógico para conduzir experimentos que ajudem a destravar o valor potencial de cada iniciativa para alcançar seus objetivos. Obviamente este não é um processo simples, e muito menos algo que exista uma única forma de se executar, mas a intenção desse texto é compartilhar algumas reflexões e um pouco do meu modo de pensar sobre esse desafio e como conduzo com os times que lidero.
Boas razões para buscar um processo e cultura de experimentação
O processo de experimentação está pautado por dados, e em uma argumentação, eles sempre vencem.
Mudança do foco da equipa para resultado e impacto e não apenas desafio técnico. Apesar de saber que desafio técnico é uma variável importante para motivar times de engenharia.
Experimentar pode gerar economia para o negócio tanto em termos de potencial de novos clientes, redução de custo de aquisição e até mesmo no custo de pessoas. Esse último tem aspectos importantes a serem considerados, vamos falar sobre.
Como um product leader, além de trazer oportunidades, direcional e desafios para manter seu time engajado, você precisa saber dimensionar o custo de uma equipe de produto, além de otimizar ao máximo o potencial produtivo do time, focando nas oportunidades de maior impacto.
Quando adotamos um processo de experimentação, passamos a aplicar uma espécie de “filtro inteligente” nas tarefas e desafios que chegam para o time, deixando eles depositarem esforços apenas nas melhores oportunidades. Sabemos que o custo/hora de pessoas de tecnologia, em particular, pessoas desenvolvedoras não está barato, sabemos também que o mercado tem se tornado cada vez mais competitivo e as pessoas buscam por desafios e propósito. Quando utilizamos esse poderoso “filtro inteligente”, garantimos para nossos times que eles estão trabalhando na melhor oportunidade e solução possível. Quando a feature ou melhoria for para produção, os números serão os melhores e a sensação de satisfação do time gera o estímulo que precisamos para dar os próximos passos.
Mas, porque a maioria das iniciativas de experimentação falham?
A falha ou resultado inconclusivo é o resultado provável se você e sua equipe conduz testes sem algum processo ou método com o mínimo de ordem racional por trás.
Porém, esse paradigma pode ser contornado com a soma de outros métodos. Aqui estamos falando sobre a capacidade de não se fechar para uma metodologia visto que o mercado de design e produto está cheio de métodos e frameworks. Tentar conduzir um processo de experimentação com apenas uma base teórica pode ser catastrófico e consequentemente desanimador para a equipe. E aí, como faço?
Processo de experimentação e racional
Juntando objetivos da companhia com colaboração, priorização, pesquisa com usuários e reduza significativamente as chances de seus experimentos concluírem com resultados insatisfatórios.
Um bom ponto de partida são as OKRs da companhia como direcionadores macro. Listamos as oportunidades em torno dos KRs utilizando dados de pesquisas quantitativas e qualitativas que realizamos com nossos clientes, e então associamos isso em uma árvore de oportunidades, para cada uma das oportunidades, listamos uma série de hipóteses (baseadas em dados) e dessas hipóteses classificamos as melhores apostas baseados no ICE Score (Impacto, Confiança e Facilidade), mas pode ser qualquer outro frame de priorização do qual sua equipe tenha familiaridade.
Aqui vale falar como pêsames cada uma das variáveis do ICE Score, pois existem diferentes formas de interpretação:
Impacto: o quanto isso move a métrica (KR) do time, e consequentemente da empresa se nossa hipótese estiver certa. Isso garante que hipóteses com maior potencial de impacto ganhe prioridade na execução.
Confiança: quanto de informações temos sobre a hipótese que nos deixam mais confiantes (métricas, pesquisa de mercado, pesquisa com usuários, benchmarking ou aprendizados anteriores do time). Isso garante que estamos gastando energia na melhor hipótese.
Facilidade: Aqui que mora o principal engano que vejo nos times de produtos, na hora de dar nota para essa variável, é muito comum se pensar no esforço para implementar a feature oficial no futuro, com todas as validações, padrões de design, arquitetura e código, e alinhamentos com as áreas de operações. Sendo que não se trata disso, entendemos o quanto isso é importante, mas neste momento queremos testar a hipótese principalmente para entender o impacto em experiência do cliente e no negócio, uma vez com essa informação em mãos (que só teremos após o teste), é que vamos dimensionar esforço real e comparar “custo benefício”.
Então de forma resumida facilidade é sobre o quão fácil é implementar isso como teste, lembrando que para testar, podemos fazer um protótipo, feature falsa, concierge ou contratar uma empresa, ou software terceirizado momentaneamente.
Para concluir essa reflexão sobre processo de experimentação:
Experimentação deve ser um processo, estruturado, lógico e repetível.
Está fora de alguns playbooks e guides das grandes consultorias ou do que se ensinam no MBA.
Força-te a valorizar método científico e repetível, e não pequenos ganhos, sorte ou acaso.
Deve ser uma cultura, acontecer várias vezes, de várias formas com iniciativas de diferentes pessoas (independente da área de atuação).
Deve ser guiado por uma estratégia macro que guia os times e iniciativas em direção ao objetivo da companhia. Desconsidere isso se você trabalha em uma equipe de P&D (Pesquisa e Desenvolvimento) ou equipe de “Inovação”, cujo a natureza desses times não necessariamente precisam se preocupar com três variáveis importantes e escassas, 1.tempo, 2. dinheiro e 3.pessoas.
