Sejamos bem honestos e direto ao ponto, eu não conheço nenhuma empresa que possa dizer com orgulho que sua equipe tem um processo de experimentação bem definido e estabelecido, com frequência de experimentos, com boas ferramentas e relatórios regulares de resultados.

E está tudo bem, existem vários motivos por trás dessa desafiadora realidade. Classifiquei os principais desafios em 3 categorias (Processo, Comunicação e Aprendizados). Se você se identifica com esses desafios, neste artigo compartilho informações relevantes para superar alguns destes desafios e estabelecer um bom processo que contribua na habilitação de uma cultura de experimentação e permita focar em resultados.

Tipos de Experimentos

No design e no desenvolvimento de produtos, a experimentação é um dos métodos utilizados para impulsionar a inovação, aprimorar a experiência do usuário, reduzir riscos e aprender de forma rápida. Existem vários tipos de experimentos que os times podem realizar, incluindo:

Testes A/B: Esses são os experimentos mais comuns, onde duas versões de um elemento são comparadas para ver qual delas funciona melhor (resultado de negócio ou de experiência).
Testes multivariados: semelhantes aos testes A/B, mas com mais variações sendo testadas simultaneamente.
Experimentos de usabilidade: Esses experimentos testam a facilidade de uso e a eficiência de um design ou produto, podendo ser feito com um pequeno grupo de usuários ou com uma grande população que confira comprovação estatística do resultado.

E dentro desses tipos, podem ainda existir várias estratégias, como landing pages (super popular para validar demanda, aceitação e entendimento), feature fake (oferecer uma funcionalidade que ainda não existe para testar desejabilidade), concierge (fazer manualmente ou de forma não tecnológica uma funcionalidade), entre outras.

Clareza no motivo do experimento

Outra coisa pouco falada, mas que devemos considerar, é que existem 2 grandes momentos e formas de se testar:

1. Experimento de clarificação: você deseja descobrir algo e reduzir incertezas em torno de algo. Geralmente utilizado para validar novos produtos, ideias ou proposta de valor em um contexto que se tem escassez de outras informações para abordar o problema ou oportunidade. (Muito utilizado em contextos de marketing, growth ou validação de negócios)

2. Experimento de incremento: você deseja acrescentar ou refatorar funcionalidades em um produto, ajustar uma mensagem e posicionamento de um produto já estabelecido, oferecer o mesmo produto para um nicho diferente. Ou então fazer o “rollout” de uma nova funcionalidade de forma incremental ao mesmo tempo que monitorar o incremento no resultado e possíveis erros/bugs. (Mais usados em contexto de gestão de produtos ou product marketing)

Essas necessidades distintas podem mudar qual é a ferramenta que você escolhe para executar os testes, o tempo entre a elaboração e conclusão dos experimentos, e até mesmo as pessoas envolvidas no processo e a ownership do experimento. Em especial, o tema “ferramentas” para viabilizar experimentos é motivo de muito sofrimento e atrito. Negligenciar o entendimento do que é um experimento e o que é uma “feature flag” (quando liberamos uma feature de forma incremental para a base de clientes), pode causar muitos desentendimentos. Mas isso pode ser assunto para outro texto.

Por isso é importante ter muito claro em qual momento a empresa ou produto se encontra e definir e compartilhar de forma clara os objetivos antes de iniciar o processo de experimentação.

Derivando Oportunidades do Objetivo

Um aspecto crucial do processo de experimentação é a definição do objetivo. Uma vez que os times têm objetivos claros e alinhados, com base nos recursos disponíveis (base de dados, conhecimento de mercado, perfil do usuário, etapa da jornada, etc), uma lista de oportunidades deve ser criada. Para cada oportunidade, N experimentos podem ser listados para endereçar o objetivo e posteriormente ser classificadas utilizando critérios já conhecidos, como nível de confiança, impacto e facilidade de implementação.

Criar e Priorizar Hipóteses

Uma vez que as oportunidades são identificadas, a próxima etapa é criar e priorizar as hipóteses. A hipótese é uma suposição feita com base no conhecimento existente, que será testada para verificar sua validade. Para priorizar as hipóteses, é importante considerar o impacto potencial, a facilidade de implementação e a relevância em relação aos objetivos do produto. Para ter uma boa definição de um hipótese, pode se seguir o modelo proposto pela Strategyzer, materializado no Test Card. Método replicado nas principais plataformas dedicadas a experimentação.

Já para priorização, os métodos mais utilizadas são a clássica matriz esforço x impacto, o método ICE e RICE, que já falei deles nesse texto .

Desenhando o Experimento

O desenho do experimento é a fase onde a hipótese ganha definições específicas. Isto envolve definir o grupo de controle, grupo experimental, duração do experimento, os canais (web, app, offline), parâmetros a serem medidos, maneira como os dados serão coletados e analisados, assim como a materialização do experimento que geralmente requer esforços de design, copy e desenvolvimento para ser posto no ar. Vale adicionar nesta etapa um grupo de revisão interno para garantir a qualidade do experimento.

Analisando Dados dos Experimentos

Uma vez que o experimento é definido e colocado em teste, a análise dos dados coletados é um passo fundamental. Esta análise deve verificar se a hipótese foi confirmada ou refutada. É importante não apenas olhar para os resultados no nível superficial, mas também fazer uma análise aprofundada para entender as causas subjacentes e os insights obtidos. Times maduros de produto definem mais de uma métrica como critério de sucesso. Por exemplo:

Indicador Principal: Taxa de Conversão de Lead
Indicadores Secundários: CAC (Custo de aquisição) e Lead Time (Tempo que leva para um lead converter no objetivo principal).

Isso garante que incentivos “perversos” não sejam propagados entre times que deveriam trabalhar em conjunto. Incentivos perversos são aqueles que uma vez postos como objetivos do time, faz um time trabalhar sem se importar com o time do lado.

No exemplo anterior, em uma empresa com o indesejado comportamento de “silos” (que cada time olha para sua meta individualmente), o time de produto poderia ter um excelente resultado com o experimento, porém prejudicar o time de marketing com a elevação do CAC.

Outro aspecto importante de se analisar, é garantir que nenhuma outra ação está sendo conduzida no mesmo período ou com os mesmos segmentos escolhidos para o teste, como, por exemplo: campanhas promocionais de marketing, ou outros times fazendo deploy de features ao longo da jornada testada. Fica aqui um destaque para a importância da comunicação no processo de experimentação.

Registrando Aprendizados

Uma dificuldade comum nos times no processo de experimentação é o registro e comunicação dos aprendizados. Falaremos de comunicação a seguir, por hora focaremos no registro dos aprendizados.

Por que é importante?

• Para garantir que ideias já testadas não sejam testadas novamente, gerando um desperdício de tempo e energia.
• Para que novos experimentos iniciem com o aprendizado anterior.
• Gerar um repositório de aprendizados que pode ser facilmente consultado.
• Facilita o onboarding de novos membros no time.

Formato do Registro:

• Como referência de estrutura de aprendizado, comece pelo “Learn Card”
• Registro em Google Slides e Google Docs, fácil de compartilhar e de outras pessoas comentarem.
• Registro em Asana, Confluence Notion: indicado se essas ferramentas também são as ferramentas de registro do roadmap e dos sprints (kaban ou Scrum).
• Registro em ferramentas especializadas: geralmente essas ferramentas “foraçam” a execução do processo, como é o caso da Experiments da Growth Hackers, da Grows da Growth Tribe e da Strategyzer Software.

Growth Funnel & Growth Loops

O Growth Funnel (Funil de Crescimento ) e os Growth Loops (Ciclos de Crescimento) são duas estratégias de growth hacking que podem ser usadas para acelerar o crescimento do produto. Os Growth Funnels envolve mover os usuários em uma série de etapas, desde a conscientização até a aquisição e retenção. Já os Growth Loops são uma abordagem mais moderna que se concentra na criação de um ciclo “autossustentável” de engajamento e crescimento. Um dos mais famosos e replicados é o Flywhell da Amazon , e Funil de Métricas PIRATAS de Deve MacClure .

Estudar e explorar esses modelos auxiliam na ampliação de horizontes de oportunidades para se alcançar objetivos. Quando aplicados no modelo de negócio do qual o seu produto/empresa está inserido, a estratégia pode ser facilmente traduzida em uma estimativa de ganhos percentuais ou absolutos, que servem como insumos para a etapa de priorização de hipóteses. — Posso fazer um texto falando só sobre isso no futuro, comenta aqui se é do seu interesse.

Definindo um Processo de Experimentação

Para a experimentação ser efetiva, é importante definir um processo que seja consistente e escalável, porém, flexível. Este processo deve incluir todas as etapas discutidas acima e considerar a necessidade de comunicação, padronização e as ferramentas do seu tech stack que viabilizam os experimentos. Isso garante que as descobertas possam ser comparadas e que os aprendizados possam ser aplicados em experimentos futuros.

Lembrando que esse é apenas um exemplo, foi utilizado em uma empresa do setor financeiro em um produto de cartões de crédito. Cada empresa e produto deve encontrar as etapas mais adequadas para seu contexto. E não exitar em fazer modificações assim que identificar a necessidade.

Comunicação e Ferramentas

Por fim, a comunicação e as ferramentas adequadas são essenciais para apoiar uma cultura de experimentação. A comunicação assegura que todos na equipe entendam o propósito dos experimentos e as conclusões tiradas deles. As ferramentas adequadas, por outro lado, facilitam a realização e a análise de experimentos. Alguns exemplos dessas ferramentas incluem softwares de análise de dados, plataformas de testes A/B e ferramentas integrações e automações.

Para tangibilizar, trago como exemplo de ferramentas utilizadas para cada necessidade:

• Para definição de objetivos: OKR’s, registradas em Google Sheets, comunicadas via Slack
• Para registros das oportunidades e conduzir dinâmicas em grupo para ideação: Miro, derivando OKR’s em Árvore de Oportunidades e depois em Hipóteses.
• Para registro e acompanhamento dos experimentos: Software Experiments da Growth Hackers, nela registramos os Objetivos, métricas chaves, ideias e experimentos, fazemos a priorização e registramos os aprendizados ao encerrar cada experimento.
• Para comunicação: aproveitar ritos já estabelecidos como weekly e review mensal de roadmap, incluir automações que levam para o Slack cada nova hipótese, teste iniciado e resultados, direto em grupos públicos (vide imagem “integração slack abaixo”) .
• Para execução dos experimentos: utilizamos Google Optimize (descontinuada) e Launch Darkly (para feature flags).
• Para escalar o processo: disponibilizamos um playbook com todo o processo, como escolher a ferramenta, registrar cada etapa do processo dentro do Growth Experiments Software.

Conclusão

Em resumo, uma cultura de experimentação pode desempenhar um papel crucial no design e no desenvolvimento de produtos, levando a melhorias significativas na experiência do usuário e no crescimento do produto, e isso não é conversa fiada, tudo se comprova com DADOS. Mas ter um processo de experimentação bem definido ajuda a estabelecer uma cultura. Processo e Cultura faz as pessoas terem tranquilidade para olhar para ESTRATÉGIA, pensarem nos OBJETIVOS e como abordar cada desafio de negócio e experiência.

Agradecimento especial ao Gabriel Pinheiro que revisou este texto.