Como trabalhar com ferramentas de teste A/B para o sucesso da otimização? Os 6 principais fatores explicados

Investir na ferramenta de teste A/B certa para o seu negócio é apenas o primeiro passo. A verdadeira magia está em seus processos e estratégia.

Mas quais processos e estratégias posicionam seu programa de otimização para obter os melhores resultados possíveis?

Neste artigo, mostraremos 6 maneiras de fazer sua ferramenta de teste A/B trabalhar o máximo possível para você e obter o maior ROI .

Mas antes de começarmos, há alguns aspectos importantes a serem lembrados ao usar ferramentas de teste A/B. Esses aspectos têm a ver com:

1. Os limites das ferramentas
2. Os limites da equipe do fornecedor por trás da ferramenta e
3. Os limites de seus próprios processos e cultura de otimização que podem apresentar problemas no uso bem-sucedido das plataformas de teste A/B.

Agora, vamos mergulhar nessas 6 maneiras de extrair o máximo de benefícios:

1. Comece com a educação (não ignore isso)

É aqui que você investe nas pessoas que usam as ferramentas. Porque, seja gratuito ou pago, os ganhos de sua ferramenta de teste A/B são tão bons quanto as mãos que a empunham.

Um software de teste A/B nas mãos de um testador iniciante não é o mesmo software nas mãos de um especialista.

Ace otimizador Simar Gujral da OptiPhoenix entende isso. Ele realiza treinamento de ferramentas para novos contratados, mas vai além de “como usar uma ferramenta de teste A/B” para enfatizar o treinamento e a estratégia do processo.

Jonny Longden da Journey Further diz que 80% do seu investimento deve ser em pessoas e 20% em tecnologia:

Portanto, seu primeiro passo para obter o máximo de benefícios de ROI da otimização é educar você e sua equipe sobre os processos e estratégias corretos de teste A/B .

Você pode começar com o programa de testes CRO e A/B da CXL. Na verdade, como cliente Convert, você terá acesso a este programa de treinamento CXL.

O treinamento é o que prepara um testador para:

• Crie grandes hipóteses para testar
• Priorize testar primeiro as áreas de alto impacto
• Leia os dados corretamente e extraia informações valiosas
• Encontrar ideias de teste
• Teste as coisas certas

… e mais.

É a base do que é certo sobre testes A/B de alto desempenho. Porque…

A ferramenta é tão boa quanto a hipótese

Vamos ser sinceros: sua ferramenta só fará o seu lance.

E se o seu lance for baseado em hipóteses ruins, o teste A/B não lhe dará os resultados que você deseja.

Existem maneiras de construir uma ótima hipótese, mas isso só é possível quando elas são criadas a partir de dados sólidos. Isso é mais do que apenas a coleta de dados, mas também seu processamento e interpretação. Portanto, a atitude em relação à análise de dados que informa sua hipótese deve ser a de crescimento do negócio.

Use seus dados para encontrar problemas em seu produto ou negócio e revelar oportunidades de melhoria. É por aí que começar.

Este é também um trampolim educacional para hipóteses futuras. Aprender com os testes ilumina novos insights sobre o que funciona e o que não funciona. O erro comum aqui é ver um teste com falha como uma falha.

Todos esses experimentos ajudam você a enxergar melhor suas estratégias – para evitar uma curva errada ou seguir em frente com o que funciona – de qualquer forma, você está usando sua ferramenta corretamente.

A melhor hipótese pode ser descarrilada sem a devida execução

Mesmo que sua hipótese esteja correta, você pode não tirar o máximo proveito dela sem a execução adequada.

Isso pode acontecer por vários motivos.

Por exemplo, você pode estar

• Executando os testes por muito tempo
• Não executar os testes por tempo suficiente
• Executando muitos testes ao mesmo tempo
• Testando na hora errada, ou
• Configurando o teste da maneira errada.

Um dos principais contribuintes para os problemas aqui é a ausência de uma ou mais de 3 coisas:

• A mentalidade e as táticas de experimentação corretas
• Conhecimento técnico e teórico de qualidade
• Compreensão suficiente para usar a ferramenta.

Para os dois primeiros, educação de alta qualidade e experiência prática cobrem isso. Para o último, sua ferramenta de teste A/B deve a você uma sessão de integração que remove todos os mal-entendidos exclusivos do seu caso de uso.

Aqui na Convert, encontramos uma forte correlação entre os clientes que têm treinamento técnico robusto e buscam educação em ferramentas com nossos especialistas e a chance de obter valor do nosso aplicativo.

Certifique-se de que a integração do aplicativo fornecida seja centrada no usuário e não centrada no recurso . Você quer um fornecedor que leve em consideração os seguintes fatores ao projetar a integração:

1. O valor central que você busca na ferramenta
2. As etapas que você deve seguir para experimentar esse valor central
3. O atrito que você experimenta ao longo do caminho
4. Sua facilidade de uso.

E quando chegar a hora de colocar seus experimentos vencedores em prática, ele poderá ficar preso na fila de desenvolvimento. Talvez não haja um desenvolvedor dedicado na equipe de otimização ou a equipe principal de desenvolvimento web esteja ocupada em projetos “maiores”.

Mas essas pequenas mudanças podem ter grandes efeitos – e você provou isso também – então elas merecem a mesma atenção dos desenvolvedores. Divida sua fila de desenvolvimento de produtos para que pequenas correções recebam a mesma atenção que tarefas grandes e urgentes.

2. Use a flexibilidade da ferramenta a seu favor

Outra maneira de usar sua ferramenta da melhor maneira possível é tirar proveito de toda a gama de recursos, mas apenas quando ela se aplica ao seu uso exclusivo, é claro.

Você pode usar:

Integrações

As integrações são a espinha dorsal da criação de uma pilha interconectada de ferramentas combinadas para turbinar seus testes A/B, marketing ou esforços de otimização da taxa de conversão.

Pode ser extrair dados de várias ferramentas de sua pilha e informar hipóteses, enviar esses dados para o maior número possível de plataformas, incluindo Google Analytics, ou executar testes A/B em suas campanhas de email marketing.

Aqui está o que Silver Ringvee, CTO da Speero, diz sobre isso:

Pagamento de autoatendimento

Este é especialmente verdadeiro para empresas que estão apenas começando com testes A/B e não têm um orçamento infinito para sobreviver. O objetivo é melhorar constantemente sua velocidade de teste .

Portanto, certifique-se de que a ferramenta permita que você compre mais usuários testados conforme necessário, sem pausar seu plano até atualizar para um nível de preço mais alto (depois de conversas cansativas com representantes de vendas).

Seria ideal se você pudesse atualizar para acessar recursos que você só precisa esporadicamente quando quiser. E faça o downgrade quando seu programa de testes estiver passando por uma pausa para que você possa usar o orçamento para aprimorar sua equipe. Não perca esta oportunidade.

Além disso, ferramentas caras vêm com uma grande promessa que rapidamente se transforma em hype. Não se deixe vender pelos sinos e assobios que permitirão que você teste tudo. Você raramente precisa fazer isso.

Em vez disso, concentre-se na ferramenta que permitirá testar o que sua empresa precisa . E é aí que entram as Estratégias de Educação e Teste.

3. Verifique as ameaças introduzidas pela ferramenta (validade)

Antes de colocar toda a sua confiança em seus resultados, certifique-se de entender completamente como a ferramenta escolhida funciona e como você implementou o teste.

O objetivo aqui é ver se seus dados foram corrompidos de alguma forma, para que você saiba quanta confiança colocar nos resultados.

A ferramenta de teste A/B afeta seus principais elementos vitais da Web?

Certifique-se de que implementou sua ferramenta de teste A/B de uma forma que não dizime seus rankings nos mecanismos de busca. Você não quer o debate SEO vs. CRO. Os dois vão de mãos dadas.

Praticamente não há nenhuma alteração que você faria em seu site para fins de CRO que prejudicaria sua posição com o Google. Qualquer alteração que você fizer geralmente afetará palavras-chave, conteúdo da página e experiência do usuário. Isso é apenas 3 dos mais de 200 fatores de classificação.

E como você aumenta as conversões nessas páginas, também envia sinais positivos ao Google de que as pessoas adoram seu conteúdo. Há uma taxa de rejeição mais baixa e o número de visitantes está aumentando.

De acordo com Rand Fishkin da Moz, contanto que você não esteja fazendo mudanças insanas em sua página, você deve ver CRO e SEO como companheiros de equipe – não fatores opostos.

Sua ferramenta de teste A/B causa cintilação?

Você não quer que os dados de teste de distorção de piscar. Escolha uma ferramenta que não pisque.

O flicker pode arruinar a integridade dos dados que você coleta da experimentação porque fica óbvio para os visitantes do seu site que algo estranho está acontecendo com sua página da web. Quando eles dão uma olhada na versão original antes que a variante apareça, isso levanta pontos de interrogação em suas mentes. Escusado será dizer que mostrar diferentes versões da sua página para o mesmo visitante prejudica a experiência do usuário.

Você precisa implantar o código da ferramenta de uma forma que suporte explicitamente sem piscar. Veja como você pode fazer isso.

Veja o que os especialistas têm a compartilhar sobre alguns dos efeitos reais da oscilação na otimização de sites:

Sua ferramenta de teste A/B leva em consideração os fatores de privacidade?

Muitas vezes, quando a ferramenta de teste A/B não usa cookies primários, devido à prevenção de rastreamento nos navegadores, os visitantes existentes do site podem ser relatados em relatórios ou, pior ainda, expostos ao tratamento e ao controle.

Essa prevenção de rastreamento inclui:

• Prevenção Inteligente de Rastreamento (ITP) do Safari
• Proteção aprimorada contra rastreamento (ETP) da Mozilla e
• Prevenção de rastreamento do Microsoft Edge

Dependendo de qual porcentagem do seu tráfego usa esses navegadores, a magnitude do efeito que eles terão em sua análise de marketing irá variar.

Devido a essas prevenções, os navegadores retêm cookies por diferentes períodos de tempo. De 30 dias a 24 horas. Como os cookies ajudam as ferramentas a reconhecer os usuários, isso afeta a contagem de novos usuários e atrapalha o cálculo da taxa de conversão.

Digamos, por exemplo, que a vida útil do cookie é de 24 horas, a mesma pessoa que visita seu site com 2 dias de intervalo será registrada como 2 usuários diferentes.

Se isso acontecer com 100 usuários e 50 deles acabarem convertendo, a taxa de conversão (que é o número de conversões dividido pelo número de usuários) será de 0,25. Porque esses 100 usuários são registrados como 200 pessoas diferentes. A taxa de conversão deve ser de 0,50.

Isso afeta várias métricas relacionadas ao usuário. Para que você continue obtendo os dados necessários para seus testes e análises de marketing com a maior precisão possível, escolha uma ferramenta que tenha soluções para um mundo sem cookies.

Sua ferramenta de teste A/B causa contaminação cruzada entre os grupos de controle e tratamento?

Outra coisa que pode arruinar a integridade dos resultados do teste é a contaminação cruzada entre os grupos de controle e tratamento. O resultado do seu teste não deve ser influenciado pelos resultados de outro teste.

Se você pretende executar vários testes em um site ou página da Web, sua ferramenta precisa vir com um recurso valioso: prevenção de colisões.

Se o redesenho do seu teste não levar em conta o transbordamento do impacto do grupo de controle para o grupo de variantes (o que é comum em experimentos de mídia social) e você não evitou a colisão, essa é uma armadilha legítima do teste A/B.

4. Olhe sob o capô das estatísticas e considere contratar talentos dedicados

A ferramenta não é o lugar número um para investir a maior parte do seu orçamento de testes. Se essa for a sua estratégia, você pode até se esforçar para provar o ROI dos seus testes A/B.

Se a sua organização está no caminho para absorver totalmente uma cultura de experimentação e tomar decisões baseadas em dados por todo o caminho, mesmo que você tenha democratizado os dados com sucesso e tenha todas as mãos nessa área, ainda faz todo o sentido investir em um talentos dedicados para esse fim. E se você puder pagar, uma equipe.

Isso ocorre porque experimentar não produz os resultados desejados a longo prazo quando é apenas uma tarefa secundária para alguém da sua equipe de marketing. Mesmo apenas um testador de 50% sempre superará um testador de 1%.

Você também gostaria de se concentrar mais nas habilidades de liderança e comunicação de seu talento para promover essa cultura de teste em sua organização. Levantar grandes hipóteses e executar testes A/B de som, testes divididos ou testes multivariados são habilidades que podem ser aprendidas.

Quando se trata de sua ferramenta de teste A/B, você quer poder confiar nos resultados que está obtendo. Vá com uma opção aberta sobre sua abordagem estatística.

Seja Bayesiano ou Frequentista, seu talento dedicado com sólida experiência em estatística deve ser capaz de entender como esses números são calculados. Dessa forma, você pode extrair insights muito mais precisos e obter o valor total do dinheiro investido em sua ferramenta.

Mesmo se você estiver usando uma das melhores ferramentas de teste A/B gratuitas, o Google Optimize, você precisa dessas informações. Infelizmente, tudo o que você pode aprender sobre o GO é que ele usa Bayesian, mas não compartilhará suas considerações anteriores com você. Isso é falta de transparência e um grande problema.

Talvez seja hora de considerar a transição para testes mais confiáveis?

Por outro lado, com os motores de estatísticas do Frequentist, os colaboradores podem olhar apenas para níveis de significância estatística e tirar conclusões incorretas. Ah, o pecado ilógico de espiar! Você deve esperar até atingir o tamanho da amostra.

O que você pode fazer sobre isso é definir regras contra espiar. Você não quer que as pessoas corram com conclusões errôneas que afetem a qualidade das decisões.

Sempre opte por fornecedores com mecanismos de estatísticas transparentes.

O Convert Experiences usa um teste Z de duas caudas com um nível de confiança de 0,05 (95%) (ou seja, 0,025 para cada cauda sendo uma distribuição simétrica normal) com a opção de alterar isso entre 95% e 99%.

5. Configure sua ferramenta para uso e adoção

Uma das barreiras para outros membros de sua organização adotarem uma cultura de teste é que algumas dessas ferramentas vêm com uma curva de aprendizado bastante íngreme .

Mas você pode tornar as coisas um pouco acolhedoras e fáceis de entender para um usuário comum. Veja como:

Comece certo

Você pode facilmente sobrecarregar os outros se houver muitos recursos que parecem técnicos demais para incomodar.

Se você não estiver usando esses recursos sofisticados, escolha uma ferramenta leve que reduz o inchaço dos recursos. Os produtos da VWO estão bem configurados para isso (sim, um concorrente... mas esse aspecto deles é realmente incrível).

Use os recursos de gerenciamento de projetos da sua ferramenta

Essa é uma maneira fantástica de incluir outras pessoas e trabalhar perfeitamente em testes A/B em equipe.

Além disso, outras pessoas podem utilizar a mesma ferramenta para diferentes propósitos. Por exemplo, o Convert tem a capacidade de ter vários projetos em uma conta, com cada projeto capaz de lidar com subdomínios ilimitados.

A nomenclatura é importante

Configure de forma que qualquer pessoa da sua equipe possa acessar a ferramenta e ter uma ideia do que está acontecendo. A familiaridade, neste caso, gera adoção.

Verifique se você está usando bem o suporte do fornecedor

Entenda todas as maneiras pelas quais você pode entrar em contato com a equipe de suporte. Você precisará de uma equipe altamente responsiva e experiente para fornecer a assistência necessária ao executar testes.

Descubra se o suporte por e-mail, chat e telefone está disponível no seu plano.

Além disso, use seu CSM como um parceiro de responsabilidade. Deixe-os saber seus objetivos, para que possam apontar na direção dos recursos certos, em termos de ferramentas. Se você não tem profissionais de marketing dedicados ou talento de experimentação ou precisa de consultas, muitas vezes seus fornecedores conhecem os profissionais que são ótimos em usar sua ferramenta. E ficaria feliz em fazer a introdução.

6. Meça a saída certa para seu programa de teste A/B

Parece que você não pode obter a atenção necessária para um programa de teste A/B se você não o atribuir a ganhos de receita. Normalmente, os executivos exigem números exatos para validar a necessidade de um teste A/B.

“Que aumento percentual devemos esperar? E quanto isso adicionará à receita deste ano?”

Mas não é para isso que a experimentação é projetada . Os testes A/B destinam-se a adicionar uma medida de certeza ou confiança às ideias – se uma hipótese é verdadeira ou não.

Na verdade, essa abordagem pode levar a problemas como:

1. Estabelecer expectativas que não podem ser cumpridas de forma realista,
2. Atribuindo ganhos apenas ao teste A/B e ignorando outros participantes importantes,
3. Ver um teste reprovado como um fracasso total, em vez de insights sobre o que funciona (aumento do lucro) e o que não funciona (mitigação de risco),
4. Criar extrapolações imprecisas dos resultados dos testes.

Dito isto, você não deseja usar sua ferramenta de teste A/B para rastrear cliques em links. Em vez disso, escolha a meta correta de teste A/B. E aproveite o poder das opções de meta avançada de sua ferramenta para obter granularidade sobre o que você está rastreando e por quê.

Veja como escolher as metas e métricas certas que você deve acompanhar:

1. Comece com os objetivos que importam para o seu negócio . Dessa forma, você pode escolher metas de teste A/B que se alinhem com as metas do negócio.
   
   Se o objetivo do negócio é aumentar a receita adquirindo mais clientes, sua experimentação deve ser voltada para a geração de leads.

2. Escolha seus objetivos primários e secundários. Os principais seriam aqueles que se vinculam diretamente aos objetivos do negócio, como downloads de aplicativos e solicitações de demonstração.
   
   Os objetivos secundários apoiam os objetivos primários porque são microconversões que geralmente levam à realização do objetivo secundário em algum momento no futuro. Isso pode envolver seu conteúdo ou se inscrever em boletins informativos.
   
   A ideia aqui é reconhecer os fatores que contribuem para o alcance dos principais objetivos do negócio.

3. Decida o que medir. Esses são seus principais indicadores de desempenho (KPIs) — métricas que indicam onde você está em relação aos principais objetivos de negócios.
   
   Quando você reconhece isso, é mais fácil realmente medir e melhorar as métricas que impactam diretamente o crescimento positivo do negócio.

Se você não definir seus objetivos corretamente, você celebrará micro-objetivos que não movem a agulha ou investirá constantemente em “Big Sky Ideas” que são difíceis de calibrar, projetar, implantar e acabam parecendo falhas . O equilíbrio está no meio.

Próximos passos

Usar sua ferramenta de teste A/B para 100% da capacidade nem sempre será possível, mas usá-la para obter o máximo de benefícios para o seu negócio é algo que você pode buscar.

O primeiro passo, se você ainda não escolheu uma ou não se sente confiante com o que tem atualmente, é encontrar a ferramenta certa para suas necessidades. Então, com essas 6 estratégias, é todo o caminho a partir daí.

Como você pode aumentar seu ROI com testes A/B?

Reserve uma demonstração com o Convert para descobrir.

Solicite sua demonstração