A intenção de experimentar é diferente de ter as condições para realização dos experimentos. Com esta publicação quero criar um espaço para compartilharmos aprendizados de um cenário real de experimentação.
A experimentação ao longo dos últimos anos foi sendo banalizada na indústria de tecnologia, fato que foi potencializado pelas promissoras tecnologias no e low-code, onde (em teoria) não é necessário um esforço de desenvolvimento para realizar alguns tipos de experimentos em ambientes digitais. Entretanto, essa banalidade trouxe um impacto muito negativo para a maneira como olhamos para a experimentação: sem considerar o contexto, o ecossistema onde ela será empregada.
Fazemos isso porque olhamos para experimentação como uma ferramenta e não parte de um processo que impacta todo o sistema organizacional. Esta crença de que experimentação é simples, faz com que não sejam avaliados corretamente os requisitos necessários para que ela possa ser implementada de maneira estruturada. E isso faz com que projetos onde a experimentação é considerada tragam uma complexidade que não é contabilizada inicialmente, pedindo um esforço maior do que o previsto, ou ainda, seja usada de maneira errada, gerando muitas vezes aprendizados que são enviesados.
Falo enviesados porque às vezes testamos em um recorte tão específico e isolado do restante da experiência que não é possível ter certeza de como replicar esses aprendizados ao longo do produto para alcançar o resultado que esperamos.
Por isso, resolvi escrever este artigo para tentar iluminar a seriedade com que precisamos encarar a experimentação, a partir de alguns aprendizados obtidos em projetos que envolviam a experimentação. O primeiro passo é entender o que é um experimento e qual o outcome desejado quando realizamos um.
O que é um experimento e qual seu outcome?
A experimentação é um conjunto de conhecimentos aplicados para compor um processo com a intenção de reduzir o risco e custo relacionado ao lançamento de um produto, um serviço, uma funcionalidade ou qualquer outra coisa que mude a maneira como um sistema funcione.
Os experimentos podem assumir diferentes formatos, desde a simulação de uma página web para avaliar interesse de novos cadastros para receber limite adicional de crédito ou uma comparação entre duas ou mais versões de uma página para solicitar empréstimos de um aplicativo financeiro. Existem diversas maneiras de experimentar, seja para validar (ou não) um conceito ou comparar ideias.
Entretanto, os resultados obtidos a partir de um experimento não são a quantidade de cliques a mais, ou número de assinaturas que foram incrementadas, ou ainda, saber que 5 das 10 pessoas estariam dispostas a pagar mais pelo seu novo serviço, mas sim os aprendizados obtidos com os comportamentos que levaram a estes resultados.
A partir destes aprendizados tomamos a decisão de seguir em frente com uma nova solução, pivotar ou simplesmente voltar para prancheta e tentar alcançar uma nova solução capaz de gerar impacto no público consumidor.
Esses ciclos de experimentação e aprendizado possibilitam que novas intervenções sejam realizadas de maneira intencional, com maior agilidade e previsibilidade dos possíveis resultados. Por trás do experimento existe uma intenção de gerar determinado resultado, estabelecendo de maneira clara o objetivo por trás do teste e a maneira como ele será mensurado.
A importância da experimentação para os negócios
Booking, Airbnb, Spotify e Netflix são algumas das grandes empresas que hoje tornaram o processo de experimentar como parte da sua cultura, da sua maneira de iterar e escalar produtos e serviços. Estes são exemplos de empresas que entendem a complexidade que existe por trás da experimentação e a tratam como parte da sua operação, por isso, são tidas como empresas orientadas por uma cultura de experimentação. Os processos e a mentalidade das pessoas são desenvolvidos para conseguirem atuar dessa maneira.
A experimentação, quando implementada como parte do processo, da cultura da organização, traz alguns benefícios. Alguns deles são:
- Agilidade na implementação de melhorias ou novas soluções;
- Conhecimento maduro sobre as necessidades e comportamentos do público;
- Maior autonomia para as equipes;
- Redução de custo de implementação e desenvolvimento;
- Redução do time to market de novas soluções e maior competitividade;
- Uso de dados específicos para tomada de decisão;
- Estimula uma maior colaboração entre indivíduos e times;
Vale destacar que estes exemplos de sucesso na implementação de uma cultura de experimentação são um contraponto para a disseminação das ferramentas no e low-code uma vez que todas elas desenvolveram sua própria plataforma de experimentação. O Booking.com, por exemplo, ainda usa o esforço de desenvolvimento para implementação dos experimentos. Além disso, preciso comentar como nestas empresas a cultura de experimentação anda lado a lado com uma cultura de dados bem desenvolvida.
Requisitos para experimentar
A experimentação pode assumir diversas formas e ser realizada de diferentes maneiras, mas existe uma mística em torno da experimentação, uma crença de que é muito fácil experimentar, basta fazer um teste A/B, – um dos modelos mais difundidos – para ver o que converte mais e assim obter alguma melhoria nos indicadores relacionados.
Ou seja, a experimentação é tratada como uma peça avulsa ao processo da organização, que se encaixa de maneira muito fácil quando existe a necessidade, mas na verdade existem alguns requisitos para que o ato de experimentar seja algo replicável e escalável em seu ecossistema.
Então, o que é minimamente necessário para garantir a realização de um processo de experimentação minimamente estruturado? O primeiro passo é olhar para o seu ecossistema olhando através de 4 lentes: dados, time, ferramentas e formato.
Dados
Dados, são a nossa matéria prima bruta, a tangibilização dos aprendizados, sejam eles quantitativos ou qualitativos. Os dados são o nosso insumo para realizar as análises e entender como esses resultados são reflexos de comportamentos do nosso público diante de diferentes cenários.
Qual o risco aqui?
Que o ecossistema não tenha tanto uma infraestrutura de dados estabelecida, como também uma maturidade na análise destes dados.
O que precisamos considerar?
Qual a ferramenta de análise de dados utilizado pela empresa, se existe uma área de B.I e analytics, e a disponibilidade destes profissionais para apoiar as iniciativas de experimentação.
Time
São os times da organização que irão nos ajudar a conectar a intenção de experimentar aos processos da empresa, habilitando ou dificultando a realização de experimentos. Por exemplo, quando atuei em um projeto de uma instituição financeira o time da cliente estava com seu foco na realização de um projeto associado ao governo e tínhamos pouco tempo deles e recursos para realizar as experimentações, limitando significativamente a nossa capacidade de gerar impacto e principalmente, aprendizados.
Qual o risco aqui?
Que o time não tenha maturidade em experimentação, que os indivíduos se tornem reativos vendo a ideia de reação como uma ameaça ao planejamento dos seus produtos ou ainda, que as pessoas não tenham tempo para apoiar a nossa iniciativa de experimentação.
O que precisamos considerar?
Alocação de pessoas para ajudar no planejamento, desenvolvimento e também no acompanhamento de resultados. Além disso, é preciso avaliar a maturidade da empresa em relação à cultura de inovação e agilidade.
Ferramenta
São os principais instrumentos para o desenvolvimento e realização de um experimento. A depender da ferramenta, podemos ter mais ou menos complexidade envolvida, maior ou menor inconsistências nos dados gerados.
Qual o risco aqui?
De que o cliente não tenha as ferramentas necessárias ou que elas não estejam integradas de maneira adequada com os produtos e serviços. Além disso, cada ferramenta possui uma curva de aprendizado diferente.
O que precisamos considerar?
Qual ferramenta será usada e qual o nível de proficiência da equipe do cliente no uso desta ferramenta, além disso, considerar os custos que serão gerados para adquirir e sustentar a ferramenta utilizada.
Gestão de conhecimento
Não podemos falar de experimentação sem falar em uma gestão de conhecimento para dar visibilidade do que está sendo testado, onde, como e quais os aprendizados obtidos. Isso se torna ainda mais importante quando temos múltiplas equipes atuando com experimentação dentro da organização. Existe um potencial muito grande para polinizar aprendizados de um ponto do produto para o outro e ajudar na compreensão do quadro maior da experiência, furando a bolha do recorte onde estamos atuando. Ou seja, a gestão de conhecimento dos experimentos também é uma forma de criar conexões entre equipes para que elas possam atuar orientadas a uma visão de ecossistema.
Além disso, seguindo o exemplo do Booking.com, a visibilidade obtida a partir de uma gestão de conhecimento adequada permite que as equipes possam colaborar no planejamento, desenvolvimento e também no acompanhamento dos resultados dos experimentos praticados por outras unidades de trabalho.
Ao longo do tempo isso se reflete diretamente no ganho de maturidade das pessoas envolvidas no processo e consequentemente da organização. Esse fator, permite que a empresa aumente o volume e principalmente a qualidade dos experimentos realizados, sendo capaz de alcançar resultados mais significativos.
Vamos falar mais sobre experimentação?
A ideia deste conteúdo não é de complicar a nossa visão sobre experimentação, mas sim de contabilizar a real complexidade que existe por trás de um projeto que envolva experimentação. Espero que ele sirva de combustível para que a gente possa falar abertamente sobre as reais condições necessárias para atuar em uma iniciativa onde exista a expectativa sobre resultados originados a partir da realização de experimentos.
Vejas outros artigos sobre experimentação:
Processo e Cultura de Experimentação em Times de Design e Produto
Ferramentas para Gerenciar o Processo de Experimentação
Ferramenta de Teste A/B Gratuita e Fim do Google Optimize!
