Fazer tudo de uma vez não é testar, é apostar

Publiquei quinze peças de uma vez num assunto escolhido por intuição. Não um palpite qualquer: parecia óbvio, o tipo de ideia que todo mundo concorda antes de ver o resultado. Esperei. As visitas chegaram praticamente nulas, um número tão baixo que nem merecia gráfico. E aí veio a pergunta que importa mais do que o fracasso em si: o que, exatamente, não funcionou? O assunto era fraco. A forma de apresentar era fraca. Não existia ninguém procurando aquilo. Faltou tempo. Faltou alcance. Eu não sei. Com quinze coisas mudando ao mesmo tempo, dentro da mesma tentativa, não existe nenhum jeito de isolar qual delas puxou o resultado para zero. O teste não falhou. Ele nunca existiu como teste.

Essa distinção parece técnica e não é. Ela decide se um fracasso ensina alguma coisa ou se só cansa. E vale para muito mais do que publicar conteúdo: vale para a dieta nova que também trocou o horário de dormir e a lista de compras na mesma semana, para a rotina de oração que virou outro aplicativo, outro horário e outro grupo ao mesmo tempo, para o relacionamento em que duas pessoas decidiram mudar tudo de uma vez depois de uma crise. Em todos esses casos, o resultado chega, bom ou ruim, e ninguém consegue dizer a que ele pertence.

O problema não é a quantidade de esforço, é não saber o que mudou

A tentação de fazer tudo junto nasce de um lugar razoável: se vale a pena mudar, por que mudar só um pedaço? A urgência parece pedir o pacote completo. O custo dessa pressa só aparece depois, quando o resultado chega e a cabeça precisa decidir a que atribuí-lo, porque a mente humana não tolera bem um resultado sem causa. Ela inventa uma, mesmo quando os dados não sustentam nenhuma.

Essa tendência tem nome e foi medida décadas atrás. Um estudo clássico pediu a observadores que examinassem desenhos feitos por pacientes psiquiátricos junto com diagnósticos fictícios, sem relação real entre o traço do desenho e o diagnóstico atribuído. Mesmo assim, os observadores relataram ver padrões que combinavam com a crença popular sobre cada transtorno, padrões que simplesmente não estavam nos dados.¹ O nome dado a esse efeito foi correlação ilusória: a mente encontra relação entre coisas que coincidem no tempo, mesmo quando a coincidência não prova nada, porque procurar uma explicação é mais confortável do que aceitar que o resultado não aponta para lugar nenhum.

Existe um efeito próximo que explica por que uma amostra pequena convence tanto quanto uma grande, mesmo sem merecer essa confiança. Pesquisadores experientes, treinados em estatística, foram questionados sobre quantos sujeitos bastariam para confirmar um resultado inicial obtido com uma amostra pequena, e boa parte respondeu com números insuficientes para sustentar a conclusão que diziam estar tirando.² O próprio hábito de confiar demais num resultado pequeno, mesmo entre quem sabe a teoria, recebeu nome: crença na lei dos números pequenos. Quinze peças publicadas de uma vez, com visita quase nula, é exatamente esse tamanho de amostra: pequeno demais para apontar qualquer coisa com confiança, e grande o suficiente, na sensação de quem olha, para parecer prova de algo.

Com quinze peças publicadas ao mesmo tempo e zero resultado, a correlação ilusória tem material de sobra para trabalhar. Alguém pode decidir que o assunto era errado, porque é a explicação mais fácil de contar depois. Outra pessoa, no mesmo cenário, decidiria que a época era errada. Nenhuma das duas explicações nasceu do dado. Nasceram da necessidade de encontrar algum fio que ligasse o esforço ao resultado, mesmo quando esse fio, se existe, está enterrado embaixo de outras catorze mudanças simultâneas.

Variável confundida

Fator que muda junto com o que está sendo testado, a ponto de ser impossível separar o efeito de um do efeito do outro no resultado final. Quando várias coisas mudam ao mesmo tempo, qualquer uma delas pode estar confundida com as demais, e nenhuma pode ser responsabilizada isoladamente pelo que aconteceu.

Testar é só isso: conseguir atribuir um resultado a alguma coisa

A definição que uso para teste, depois dessa experiência, ficou mais estreita do que eu esperava: testar é conseguir atribuir o resultado a alguma coisa. Não é publicar, não é tentar, não é se esforçar. É montar a tentativa de um jeito que, no final, dê para apontar o que causou o que aconteceu. Uma tentativa pode ser enorme, cara, cheia de energia investida, e ainda assim não ser um teste, se ao final dela ninguém souber dizer por que o resultado foi aquele.

Esse princípio tem nome fora do mundo editorial. Empresas que testam mudanças em produtos digitais aprenderam, à força de erro, que mudar várias coisas na mesma versão é a forma mais confiável de terminar sem saber nada: se o resultado melhora, não dá para saber qual das mudanças causou a melhora; se piora, menos ainda. A prática que se consolidou, descrita em literatura sobre experimentos controlados on-line, é isolar uma variável por vez e manter o resto constante, exatamente para que o resultado, bom ou mau, aponte para uma causa específica.³ A régua não é rigor pelo rigor. É a única forma de transformar um resultado em aprendizado, em vez de em mais um dado perdido dentro de um monte de outros dados perdidos.

Depois dos quinze, passei a publicar duas ou três peças por vez, no mesmo assunto, e esperar antes de produzir a próxima leva. A régua não ficou mais frouxa. Ficou mais estreita de propósito, porque uma tentativa menor que ensina alguma coisa vale mais do que uma tentativa grande que não ensina nada. No mesmo assunto em que publiquei as quinze, o histórico de doze meses mostrou que, de toda a concorrência que tentou algo parecido, vinte e nove produtos novos entraram e dois deram certo. Isso não é prova de que esperar e isolar garante sucesso. É prova de que a maioria das tentativas, isoladas ou não, falha, e que o único jeito de uma falha valer alguma coisa é ela conseguir dizer por quê.

O erro oposto: continuar só porque já se investiu

Isolar uma variável e esperar o sinal tem um custo que também merece nome. Enquanto a resposta não chega, a cabeça pressiona para fazer mais, mudar mais, acelerar o julgamento. E existe um erro simétrico ao de testar tudo de uma vez: continuar investindo numa única tentativa só porque ela já consumiu tempo, dinheiro ou identidade, mesmo depois que o sinal já apontou para parar.

Um experimento clássico de decisão colocou estudantes de administração no papel de diretor financeiro de uma empresa fictícia, decidindo como dividir uma nova verba de pesquisa e desenvolvimento entre duas divisões, numa delas o resultado dos últimos anos vinha decepcionando. Quem foi informado de que a aplicação de verba decepcionante tinha sido decisão sua, cinco anos antes, destinou mais dinheiro a essa mesma divisão do que quem soube que a decisão original tinha sido de outro diretor.⁴ O nome dado a esse padrão foi escalada de compromisso: quanto mais alguém já investiu numa direção, maior a chance de continuar investindo nela, não porque os números melhoraram, mas porque abandonar significaria admitir que a decisão original não valeu.

Esse mesmo padrão aparece fora de decisões corporativas. Uma série de experimentos sobre o tema, incluindo um estudo de campo com assinantes de temporada de uma companhia de teatro, mostrou o mesmo efeito fora do laboratório: quem tinha pago mais pela assinatura foi a mais peças depois, mesmo quando o ingresso já estava garantido e o preço pago não mudava em nada o valor de assistir ou não à peça.⁵ A armadilha não é parar cedo demais. É confundir quanto já se gastou com quanto ainda vale a pena gastar, duas perguntas que não têm relação lógica entre si, mesmo parecendo ter.

Na vida fora do escritório, esse mesmo cálculo errado aparece sem avião nenhum envolvido. Alguém que passou dois anos numa formação específica continua nela mesmo depois de notar que o interesse mudou de direção, porque parar agora pareceria admitir que os dois anos foram em vão. Outra pessoa mantém a mesma rotina de academia, sem ajustar nada, só porque já comprou o plano anual, mesmo sentindo que o horário escolhido nunca funcionou. Em nenhum dos dois casos a pergunta certa é “quanto eu já investi”. A pergunta certa é “dado o que eu sei agora, eu começaria isso do mesmo jeito hoje”. Quando a resposta é não, o tempo já gasto não é motivo para continuar: é só o preço, já pago, de ter aprendido a resposta.

A diferença entre as duas pessoas do cenário acima não está em quem se esforçou mais. Está em quem montou a tentativa de um jeito que o resultado pudesse ensinar algo, independente de o resultado ser bom ou ruim. A primeira pessoa não teve chance de aprender nada, porque misturou quatro mudanças numa semana só. Quando nada melhorou, a conclusão mais honesta seria “não sei o que não funcionou”, mas a conclusão que saiu foi “nada funciona”, que é maior do que os dados sustentam e fecha a porta para tentar de novo de um jeito melhor.

O crescimento que ninguém vê acontecer enquanto acontece

Existe um motivo mais profundo, e menos prático, para a pressa de mudar tudo de uma vez: a espera sem sinal visível é desconfortável de um jeito que pouca coisa é. Um dos ensinamentos mais diretos sobre isso descreve o reino de Deus como alguém que lança a semente sobre a terra, e “noite e dia, quer esteja dormindo, quer acordado, a semente germina e cresce, embora ele não saiba como” (Marcos 4:27, NVI). O verso seguinte segue a sequência: “a terra por si mesma frutifica: primeiro, nasce a planta; depois, a espiga; por último, o grão cheio na espiga” (Marcos 4:28, NVI). Não existe atalho na ordem. A planta não aparece antes da espiga porque alguém decidiu acelerar o processo revirando a terra para checar.

É conhecimento comum de quem já plantou algo: cavar para verificar se a semente está brotando é o jeito mais confiável de impedir que ela brote. A raiz que ainda está se formando não sobrevive à interrupção, mesmo quando a interrupção nasce de cuidado, não de descuido. A pressa de ver o resultado destrói exatamente a coisa que produziria o resultado.

A mesma lógica se aplica a quem muda cinco coisas na própria vida de uma vez por impaciência de esperar o efeito de uma só. Não é falta de fé em conseguir, nem fraqueza de caráter. É a mesma dificuldade de aceitar que o crescimento, quando é real, acontece num ritmo que não responde a quanto se cava a terra para checar se já chegou.

O que fica, depois de reduzir a aposta a um teste

Reduzir de quinze tentativas simultâneas para duas ou três, com espera entre uma leva e outra, parece, à primeira vista, menos ambicioso. Produz menos volume visível num mês qualquer. O ganho não aparece no volume. Aparece na segunda tentativa, na terceira, na quinta, porque cada uma delas carrega uma informação real sobre a anterior, em vez de recomeçar do zero com a mesma pergunta sem resposta: o que, exatamente, não funcionou dessa vez?

Isso não resolve a parte mais difícil, que é aguentar a espera sem sinal no meio do caminho. A semente que ainda não furou a terra parece, para quem olha de fora, idêntica à semente que nunca vai brotar. Não existe um truque que torne essa espera confortável. O que existe é a escolha entre duas formas de passar por ela: uma em que, no final, alguém sabe o que aconteceu, e outra em que, no final, só existe um resultado sem dono, pronto para receber qualquer explicação que alguém precise inventar para ele.

Quem reconhece nisso um padrão mais antigo, o de tentar de novo a mesma coisa várias vezes, falhar de formas que nunca se consegue nomear com precisão, e temer secretamente que essa repetição já tenha esgotado alguma paciência que não é a própria, encontra no livro JESUS: A Fonte da Paciência, de Anderson Chipak, o assunto que este texto só abre a porta para entrar. A pergunta ali não é sobre marketing nem sobre hábito. É sobre o que sobra depois de falhar na mesma coisa mais vezes do que se tem coragem de contar, e descobrir se o limite que se teme ter chegado é real ou só mais um resultado sem causa clara, esperando por uma explicação que ninguém verificou de verdade.

Se este tema falou com você

Estes livros continuam a conversa. São do acervo próprio, e cada um pega o assunto por um ângulo.

JESUS: A Fonte da PaciênciaAnderson ChipakAnderson Chipak escreve sobre a paciência de Cristo para quem já falhou na mesma coisa e teme ter esgotado o limite dEle

Anderson Chipak

Vinte anos construindo software para sistemas que não podem errar. Hoje assume a operação digital de quem vive da própria especialidade — e escreve sobre o custo de fazer tudo sozinho.

Ver mais publicações