Teste A/B e Hipóteses

Teste A/B e Hipóteses

1. Técnica muito utilizada em marketing para avaliar o resultado imediato e entender a experiência do usuário ( UX )

2. Controle ( A ): Conteúdo original é mantido

3. Tratamento ( B ): mudança em alguma parte do serviço para entender o impacto imediato

   • Exemplo do Uber: para 90% dos usuários mantém o serviço como está. Para 10%, quando o tempo de espera do Uber exceder 5 minutos, dar a opção do usuário de escolher outro Uber mais próximo.  - Além disso deve-se acompanhar o impacto da mudança. No exemplo: avaliar se após a mudança diminuiu o número de cancelamentos.
   • - Muito útil com implantação canário. Podendo chavear entre uma versão e outra da aplicação tendo as duas em produção.

4. Bastante útil quando queremos experimentar novos recursos tomando decisões com base em dados e fatos

5. Algumas outras características

   • Pode ser utilizado com a alternância de recursos, sem deploy.
     • - Nesse caso o próprio usuário da aplicação pode escolher habilitar ou desabilitar o recurso. - Tem relação forte com releases de baixo risco.
   • Habilitar nova funcionalidade para 10% dos usuários
   • Se os resultados forem positivos, expande para mais usuários até chegar a 100%

6. Desenvolvimento orientado a hipóteses

   • - Utilizado num contexto de adaptação e aprendizado.
   • Consiste em colocar em uso uma série de possibilidades
   • Importante para confirmar se novas possibilidades serão realmente adotadas pelos clientes.
   • O objetivo é refletir sobre uma série de experimentos para determinar se teve o resultado esperado.
   • O processo é realizado até o atingimento da meta ou a ação se mostrar inviável
     • Se a ação se mostrar inviável, altera o curso de ações ( Pivotar )