Testar e aprender | marketing.pt

Introdução

Teste quando existe uma dúvida sobre uma escolha de marketing e a resposta pode mudar o que vai fazer: uma mensagem, uma chamada para ação, a apresentação da oferta ou a forma de pedir informação. A utilidade está em reduzir uma incerteza de decisão, não em produzir uma versão vencedora a qualquer custo.

Se o formulário não envia pedidos ou a ligação está avariada, corrija o defeito. Um teste é útil quando há alternativas funcionais e uma dúvida real sobre o efeito que terão junto do público.

Acompanhar resultados ajuda a localizar mudanças e a levantar hipóteses. Testar e aprender avalia uma hipótese específica antes de aplicar a alteração mais amplamente. Rever a estratégia trata de escolhas mais abrangentes, como público, proposta e distribuição dos recursos.

Que decisão justifica um teste?

Comece por escrever o que fará com cada resposta plausível. Se a decisão seria a mesma qualquer que fosse o resultado, talvez a pergunta não justifique o esforço. Pode ser mais útil esclarecer a necessidade do público ou reunir informação que ainda falta.

Escolha uma alteração ligada a uma dificuldade observada. Mais cliques sem pedidos adequados pode levar a investigar a promessa do anúncio; pedidos sem medidas podem levar a investigar as instruções do formulário. A observação aponta para uma pergunta, mas não identifica automaticamente a causa.

Considere o custo de preparar versões, medir e acompanhar, além do risco para a experiência do cliente. Uma alteração pequena pode merecer um teste se a decisão se repetir ou afetar muitos contactos. Uma decisão difícil de medir pode começar por investigação qualitativa, sem simular certeza estatística.

Use Acompanhar resultados de marketing para conferir o sinal de partida e Orçamento e prioridades para ponderar os recursos. Aqui, o passo seguinte é escolher uma hipótese delimitada que a comparação consiga esclarecer.

Como formular uma hipótese de marketing?

Uma hipótese deve tornar claro o efeito esperado da alteração e as medidas que permitem avaliá-lo. Separar mudanças simples ajuda a interpretar o contributo de cada uma. [2]

Como modelo editorial, experimente: «Para [público], alterar [elemento] deverá melhorar [resultado], porque [motivo que podemos investigar]». A última parte é uma explicação a avaliar, não um facto já demonstrado.

Mensagem: para responsáveis por pequenos alojamentos, explicitar no anúncio a gama e as condições deverá aumentar os contactos adequados, porque permite perceber melhor a quem se destina a oferta.
Página da oferta: para quem consulta roupa de cama, colocar as orientações de medidas junto do pedido deverá aumentar os pedidos utilizáveis, porque a informação necessária fica no momento em que é preenchida.

Especifique o que muda e o que permanece: texto, posição, campos, condições e destino. Se alterar mensagem, preço e formulário ao mesmo tempo, pode avaliar o conjunto, mas não atribuir o efeito isoladamente a uma dessas mudanças. Registe essa escolha e ajuste a pergunta.

Escolha uma consequência relevante para o marketing. Um aumento de cliques numa chamada para ação pode ajudar a investigar interesse, mas não substitui uma medida de pedidos adequados se é essa a decisão que pretende apoiar.

Como escolher uma comparação que ajude a avaliar a hipótese?

Num teste A/B, a versão atual e a alternativa são apresentadas no mesmo período a grupos atribuídos aleatoriamente. Essa comparação reduz a confusão entre a alteração e diferenças de calendário ou seleção do público, desde que o desenho e a execução sejam adequados. [1]

Não distribua a versão A por um canal e a B por outro para depois tratar a diferença como efeito da página. O público e o contexto podem ser diferentes. A atribuição aleatória deve acontecer na população elegível definida para o teste, com regras comuns de medição.

Defina a unidade de distribuição: por exemplo, um visitante identificado, e não cada visita isolada. A estabilidade do identificador e a possibilidade de pessoas ou organizações partilharem a experiência condicionam a escolha dessa unidade. [2]

Quando possível, o mesmo visitante deve continuar a ver a versão que lhe foi atribuída. Assim, quem regressa para completar medidas não alterna entre experiências. Registe as limitações do identificador: o mesmo navegador não é necessariamente uma pessoa e uma pessoa pode usar vários dispositivos.

Alinhe a análise com a unidade escolhida. Visitas repetidas do mesmo identificador não são novos participantes independentes. Se a alteração for partilhada por várias pessoas do mesmo alojamento, avalie se faz sentido distribuir por organização, com apoio metodológico para a análise; não conte colegas como observações independentes por conveniência.

Uma comparação antes/depois permite descrever uma evolução, mas época, campanha, público, preço ou disponibilidade também podem ter mudado. Para atribuir um efeito à alteração é necessário avaliar explicações alternativas e o que poderia ter acontecido sem ela. [5]

Se não consegue fazer uma comparação controlada, explicite esse limite. Um piloto pode verificar se a equipa consegue executar o percurso e revelar dificuldades; não se torna uma experiência causal apenas por ser chamado teste.

Como definir sucesso sem perder de vista o cliente?

Antes de começar, escolha um resultado principal ligado à hipótese e uma métrica de proteção para detetar uma consequência que não quer agravar. As medidas de diagnóstico ajudam a explicar o resultado; não devem substituir o critério principal depois de ver os dados. [3]

Registe numerador, denominador, exclusões e janela de observação. Se compara pedidos por visitante elegível, inclua todos os visitantes atribuídos dentro dessas regras, mesmo os que não enviam nada. Analisar apenas quem completou o formulário pode ocultar pessoas desencorajadas pela nova versão.

Defina o critério de decisão em termos práticos e analíticos: que melhoria seria útil, que perda na proteção seria inaceitável e como vai avaliar a incerteza da diferença. Estes critérios dependem do contexto e devem ser combinados antes; não há um limiar universal que resolva todas as decisões de marketing.

Confirme que a recolha e a qualificação funcionam do mesmo modo nas versões. Identifique a versão atribuída, os pedidos únicos e o tempo para confirmar os requisitos. Quando possível, quem qualifica os pedidos deve aplicar os critérios sem saber que versão os originou.

O guia de objetivos e indicadores ajuda a formular as medidas iniciais. Este artigo acrescenta a comparação entre versões e as condições para interpretar a diferença.

Quanto volume e tempo são necessários, e quando parar?

O volume necessário depende da frequência do resultado, da diferença que interessa detetar e da incerteza aceitável. A análise de potência ajuda a avaliar se a amostra permite detetar uma mudança relevante caso ela exista; poucos dados podem não permitir uma conclusão robusta. [5]

Planeie essa análise com apoio adequado antes do teste e confirme se o tráfego elegível permite executá-la num período útil. A existência de muitas visualizações não garante muitos participantes distintos ou pedidos suficientes. Não adote uma regra fixa de dias nem improvise um nível de confiança para justificar o resultado.

A duração também precisa de cobrir as condições relevantes e dar tempo ao resultado para se concretizar. No formulário dos têxteis, enviar um pedido não confirma imediatamente a disponibilidade e o prazo. Compare participantes com a mesma janela de qualificação e registe o que continua por confirmar.

Inspecionar os dados repetidamente e parar logo que uma versão parece ganhar pode produzir conclusões enganadoras. A análise precisa de considerar essas observações e eventuais paragens; se não foi desenhada para isso, respeite o plano de duração e análise acordado. [3]

Acompanhar falhas e proteção durante o teste continua a ser necessário. Um formulário que deixa de funcionar ou um prejuízo que ultrapassa os critérios de proteção pode exigir suspensão. Registe por que parou e o que os dados permitem dizer; uma paragem por falha não é uma vitória comercial da outra versão.

Se chegar ao fim previsto sem evidência suficiente, não prolongue automaticamente até obter o resultado desejado. Reveja a viabilidade, o desenho e a pergunta. Uma extensão exige justificação e análise compatível com o que já foi observado.

Exemplo hipotético: orientações no formulário dos têxteis

A empresa e o teste são hipotéticos. Os valores de partida retomam o exemplo anterior; não são resultados de uma experiência, nem identificam a causa. Não são inventados vencedores, vendas ou efeitos observados.

A empresa vende roupa de cama a pequenos alojamentos. No acompanhamento anterior, os pedidos por visita mantiveram-se em 10%, mas a proporção de pedidos qualificados caiu de 50% para 30%. Antes de testar, confirma a aplicação do critério e investiga origens, informação em falta e incompatibilidade de prazos.

A hipótese é que orientações mais claras junto dos campos ajudam o público a enviar pedidos utilizáveis. A versão A é o formulário atual; a B acrescenta instruções junto de medidas, quantidades e prazo pretendido. Mantêm-se os campos, a gama, o preço e as condições; o teste avalia este conjunto de orientações, sem isolar o efeito de cada frase.

A população elegível é definida antes da exposição: visitantes da página da gama incluídos no período e âmbito do teste, com regras comuns para excluir acessos internos e de teste. O comportamento posterior, como enviar o formulário, não decide quem entra no denominador. Se não consegue identificar todo o público real, regista essa limitação.

Num A/B viável, um identificador estável recebe aleatoriamente A ou B e conserva essa versão nos regressos. Neste desenho, a contagem é limitada a um pedido de cada tipo por visitante elegível, para que contactos repetidos não aumentem artificialmente as taxas.

Resultado principal: visitantes elegíveis com pelo menos um pedido qualificado, divididos por todos os visitantes elegíveis atribuídos à respetiva versão. É a medida de pedidos qualificados por visitante neste desenho, com deduplicação.
Métrica de proteção: visitantes elegíveis com pelo menos um pedido enviado, divididos por todos os visitantes elegíveis atribuídos à versão. Ajuda a detetar se as instruções podem desencorajar contactos.
Medida de diagnóstico: pedidos únicos com medidas, quantidades ou prazo pretendido em falta, divididos pelo total de pedidos únicos da versão. É uma proporção entre pedidos, não entre visitantes.

Um pedido qualificado pertence a um pequeno alojamento, corresponde à gama, contém medidas e quantidades suficientes e tem prazo confirmado como compatível com a disponibilidade. Os critérios, o procedimento de confirmação e a janela de observação são iguais em A e B. Informação completa, por si só, não garante compatibilidade nem venda.

A proporção de informação em falta pode melhorar porque as instruções ajudaram ou porque menos pessoas chegaram a enviar. Por isso, melhorar apenas essa medida não basta para adotar B. Leia-a com o resultado principal e a proteção, verificando o esforço de resposta e as condições da proposta.

Se a principal dificuldade for a disponibilidade, explicar os campos não cria capacidade de entrega. Esse resultado pode levar a rever a hipótese e as condições da oferta, em vez de concluir que a redação do formulário falhou em todas as situações.

Com pouco tráfego, peça a potenciais compradores que preparem um pedido para uma necessidade plausível e observe onde hesitam, que medidas procuram e como interpretam o prazo. Sessões de utilização com tarefas relevantes e instruções neutras ajudam a identificar dificuldades concretas. [4]

Registe o que cada participante compreendeu e a ajuda que recebeu. Entrevistas podem esclarecer a linguagem e as dúvidas; um piloto pode verificar o funcionamento do percurso. Nenhum destes exercícios, sem desenho adequado de comparação, estima o aumento de conversões no público ou demonstra que a nova versão vende mais.

Como interpretar o resultado e escolher o próximo passo?

Confira primeiro a distribuição, os registos e o cumprimento do plano. Uma diferença que resulta de uma falha de recolha não se torna fiável por aparecer num relatório. Leia o efeito estimado com a sua incerteza, a relevância prática e a proteção.

Os títulos seguintes identificam resultados possíveis. Os blocos são um guião editorial de interpretação, não resultados do exemplo nem regras automáticas.

Evidência suficiente para adotar

O que verificar

Confirme distribuição, registos e análise prevista. A diferença no resultado principal é suficientemente precisa e relevante para a decisão? A proteção e a capacidade de resposta mantêm-se dentro dos critérios acordados?

Decisão possível

Adotar no âmbito avaliado e acompanhar a aplicação. Documentar os limites; não pressupor o mesmo efeito noutros públicos ou canais.
Indícios de prejuízo ou de uma troca entre benefícios e custos

O que verificar

Verifique se há falha técnica, piora da proteção ou esforço adicional que anula a utilidade prática. Menos informação em falta está a ser conseguida à custa de contactos que deixam de chegar?

Decisão possível

Corrigir ou retirar a versão, conforme os critérios de proteção. Se a troca exigir outra escolha, reformular a hipótese antes de ampliar a aplicação.
Sem conclusão

O que verificar

Resultado inconclusivo: confira volume, tempo para qualificar, qualidade dos dados e incerteza da diferença. A análise permite distinguir uma melhoria útil de ausência de melhoria ou prejuízo?

Decisão possível

Não declarar empate nem vencedor. Manter a versão de referência ou uma decisão limitada e reversível; recolher mais evidência apenas com um plano justificado, ou escolher outra forma de investigar.

Um resultado inconclusivo não demonstra ausência de efeito: a informação pode continuar compatível com melhoria, pouca diferença ou prejuízo. Se a pergunta for demonstrar equivalência entre versões, é necessário um desenho e uma análise adequados a essa pergunta; a falta de uma diferença detetada não chega.

Uma diferença pequena pode ser pouco útil perante o custo de manter a versão. Uma diferença potencialmente útil pode continuar demasiado incerta para justificar uma expansão. Considere ambas as dimensões em vez de trocar relevância prática por um rótulo de significância.

A conclusão vale para a população, o canal, a oferta e o período avaliados, dentro dos limites do teste. Um resultado num formulário não demonstra o mesmo efeito num anúncio ou num público diferente. Ao aplicar a alteração, acompanhe os resultados e as condições em que a decisão foi tomada.

Que ficha guardar para que a equipa possa aprender?

Antes de começar, preencha a pergunta e o desenho. Depois, acrescente o resultado, os limites e a decisão sem apagar o plano original:

Pergunta: que decisão de marketing o teste deve ajudar a tomar?
Hipótese: público, alteração, resultado esperado e motivo a investigar.
Versões: o que muda, o que permanece e como cada versão é identificada.
Público: regras de elegibilidade, unidade de distribuição e unidade de análise.
Período: início, duração planeada, volume necessário e janela para os resultados se concretizarem.
Método de comparação: atribuição aleatória e manutenção da versão, ou alternativa escolhida e respetivos limites.
Resultado principal: definição, numerador, denominador e forma de analisar a diferença.
Métrica de proteção: o que não deve piorar, critério de intervenção e medidas de diagnóstico.
Decisão e justificação: evidência, incerteza, relevância prática, desvios ao plano e o que ficou por saber.
Responsável e revisão: quem aplica ou investiga, em que âmbito e quando volta a conferir a escolha.

Guarde também versões das mensagens e instruções efetivamente mostradas e o registo de mudanças ou interrupções. «A versão B ganhou» é insuficiente para decidir se a aprendizagem serve outra situação.

Que erros evitar e como continuar?

Alterar vários elementos sem registo e atribuir o resultado a apenas um deles.
Escolher a métrica principal depois de ver qual apresentou uma diferença favorável.
Distribuir versões por públicos diferentes e tratar essa escolha como aleatória.
Contar visitas repetidas como participantes independentes ou excluir quem não enviou pedido.
Parar ao primeiro sinal favorável sem um plano de análise que contemple essa decisão.
Ignorar proteção, esforço de atendimento ou prazo necessário para qualificar os pedidos.
Chamar ausência de efeito a um resultado inconclusivo ou generalizar além do contexto avaliado.

Volte a Acompanhar resultados de marketing para observar a aplicação da decisão. Use Diagnóstico e ponto de partida se a hipótese precisar de ser reformulada e Preparar um plano de marketing para coordenar a alteração com oferta, canais e capacidade.

Se a evidência colocar em causa o público escolhido, a proposta ou a distribuição dos recursos, pode ser necessário reconsiderar escolhas mais amplas. «Rever a estratégia» ajuda a organizar essa decisão. O teste deve deixar claro o que aprendemos e o que ainda exige outra investigação.

Fontes e âmbito da consulta

1 — Office for Health Improvement and Disparities — GOV.UK : A/B testing: comparative studies — What to A/B test, Cons e How to carry out A/B testing: versões, atribuição aleatória, volume e duração. Guia de avaliação de produtos de saúde digital usado apenas no âmbito metodológico; não se transpõem casos ou resultados de saúde para marketing. Consulta em 9 de novembro de 2026; leitura das partes indicadas, não da obra integral. ↩1
2 — Microsoft — Experimentation Platform, Microsoft Research : Patterns of Trustworthy Experimentation: Pre-Experiment Stage — Formulate your Hypothesis and Success Metrics e Choose the Appropriate Unit of Randomization: hipótese, métricas, estabilidade e limitações da unidade de distribuição. Publicado em 31 de julho de 2020. Sem consulta integral dos estudos ligados pelo artigo. Consulta em 9 de novembro de 2026; leitura das partes indicadas, não da obra integral. ↩1 ↩2
3 — Microsoft — Experimentation Platform, Microsoft Research : Patterns of Trustworthy Experimentation: During-Experiment Stage — Taxonomia de métricas e Measure Early and Often: proteção, diagnóstico, medições repetidas e paragem precoce. Publicado em 25 de janeiro de 2021. Não se adota como universal a duração usada nos produtos Microsoft. Consulta em 9 de novembro de 2026; leitura das partes indicadas, não da obra integral. ↩1 ↩2
4 — User research community — GOV.UK Service Manual : Using moderated usability testing — When to use moderated usability testing; Plan the sessions; Design the tasks; Run a session: observar utilizadores, escolher tarefas relevantes e dar instruções neutras. Sustenta a identificação de dificuldades, não uma estimativa de conversão. Consulta em 9 de novembro de 2026; leitura das partes indicadas, não da obra integral. ↩1
5 — HM Treasury e Evaluation Task Force : Magenta Book: Central Government guidance on evaluation (HTML) — 1.7.1, atribuição e contrafactual; 3.5.1 Considering statistical power, amostra e deteção de efeitos. Orientação de avaliação pública usada como fundamento metodológico para limites de comparações e resultados inconclusivos, sem impor um desenho universal às empresas. Consulta em 9 de novembro de 2026; leitura das partes indicadas, não da obra integral. ↩1 ↩2

Para aprofundar

Síntese editorial de aplicação. As hipóteses de mensagem e página, os critérios de decisão, a grelha e a ficha são propostas originais. A empresa de têxteis e o teste são hipotéticos; os 10%, 50% e 30% retomam apenas o exercício de acompanhamento anterior, sem estabelecer causalidade ou um vencedor. As fontes sustentam os pontos indicados nas chamadas e foram consultadas nas secções identificadas, não integralmente. Não são propostos prazos, limiares ou ganhos universais. Revisão editorial pendente.