Saturno V 3.02 e vícios cognitivos

Desde o final 2006 e início de 2007, não tenho escrito artigos didáticos nos quais dê algumas recomendações realmente úteis e inéditas. Farei isso neste artigo. Creio, porém, que só uma parcela muito pequena dos leitores poderá tirar algum proveito, porque é necessário ter experiência com otimizações de sistemas automáticos para se beneficiar com o que é dito aqui, bem como é necessário ter lido meus artigos anteriores sobre este tema.

Entendo por “vício cognitivo” a persistência em manter um padrão de pensamento em determinado tipo de situação, sem considerar determinadas particularidades que podem tornar a tal situação muito peculiar e não susceptível a um tratamento convencional. Quando uma pessoa recita a tabuada, por exemplo, está incorrendo num vício cognitivo. Se a pessoa tivesse que fazer tabuadas usando um sistema duodecimal, sentiria uma dificuldade considerável. Se um jogador de Xadrez habilidoso for colocado para enfrentar um oponente menos habilidoso, porém mudando apenas um detalhe nas regras: as peças trocam seus movimentos, ou seja, os Bispos passam a se mover como Torres, as Damas passam a se mover como Bispos, os Cavalos passam a se mover como Damas, etc., em tais circunstâncias um jogador menos experiente pode inclusive levar algum tipo de vantagem (menor risco de cometer descuido) sobre os mais experientes, por estar menos “viciado” em olhar para uma peça e associar ao movimento dela, o que torna mais fácil para o menos experiente se adequar às novas regras, pois nele aquele conhecimento está menos cristalizado. Não é preciso ser necessariamente menos experiente. Pode-se ser também mais flexível, mais receptivo a novidades, menos conservador ao seguir tradições etc. Uma pessoa habituada a usar teclado de computador, em que as letras ficam em determinadas posições, cairia radicalmente de performance, na velocidade de digitação, se todas as letras fossem trocadas de lugar, mas uma pessoa sem muita experiência em digitação quase não sentiria diferença. Isso não significa que ter menos experiência é mais vantajoso. Significa apenas que a experiência, se não for tratada com reservas, pode criar vícios que acabam dificultando a resolução de problemas novos, ou mesmo de problemas antigos que estejam sendo tratados da mesma maneira há muito tempo e por muita gente. Quando se está lidando com uma situação que envolve vícios cognitivos, soluções aparentemente simples e fáceis podem se tornar muito mais difíceis pelo fato de envolverem a ruptura de paradigmas. Uma solução melhor e relativamente evidente pode ser difícil de se encontrar devido ao hábito de se resolver determinado problema de determinada maneira, a tal ponto que nem se pensa mais na solução, apenas pratica-se-á, perdendo, com isso, oportunidades de inventar soluções melhores.

No ano passado, postei uma mensagem no maior e melhor fórum sobre Forex, em que dei algumas dicas de como se deve proceder ao fazer back tests, e um dos forenses, especialista em sistemas automáticos, que durante nossas conversas se mostrou muito perspicaz e amável, disse-me que meus comentários já lhe valeram o dia. O curioso é que não havia nada demais nos meus comentários, exceto por um detalhe: estavam livres de vícios cognitivos, vícios aos quais estavam presos praticamente todos os especialistas em EAs, que depois de meses ou anos aplicando determinados métodos, passaram a repetir estes métodos quase religiosamente, sem se questionarem sobre a eficiência dos tais métodos. É quase como as pessoas que transportam tijolos em caminhões, que fazem basicamente o seguinte: um rapaz fica em cima da carroceria do caminhão e outro fica no chão. O segundo joga os tijolos para o primeiro, que os vai ajeitando sobre a carroceria. Depois levam os tijolos ao local de desembarque e começam a descarregar da mesma maneira, porém inversamente, com o de cima jogando os tijolos ao que fica no chão. Conforme comentou nosso amigo Guilherme Marques dos Santos, isso é amplamente praticado em construções do Brasil inteiro e, provavelmente, do mundo inteiro. Porém é óbvio que se perde muito tempo com isso, e seria muito mais vantajoso colocar todos os tijolos dentro de grandes caixas com rodas, ou mesmo sem rodas, e arrastar estas caixas para cima da carroceria por uma rampa. O tempo para colocar os tijolos dentro das caixas seria um pouco maior do que ajeitar tudo sobre a carroceria, porém na hora de descarregar, o tempo seria muito mais curto se os tijolos estivessem numa caixa e, no processo inteiro, haveria quase 50% de economia de tempo.

Meus comentários e dicas no fórum não eram muito mais complexos do que isso. Na verdade, eram bem simples. Não obstante, se eram tão simples, por que ninguém havia pensado nisso? A resposta é: trata-se de um vício. A pessoa faz algo e verifica que funciona, então ela tende a repetir aquilo, em vez de tentar fazer melhor. Provavelmente mais de 99,9% das pessoas agem desta maneira e, com isso, podem não apenas deixar de encontrar soluções melhores como também podem ficar encurraladas ao depararem com determinados problemas não-triviais. Isso afeta a performance de mais de 99,9% dos profissionais de todas as áreas: médicos, engenheiros, administradores... Quando deparam com situações inusitadas, nas quais não conseguem encaixar os modelos prontos de solução, que estão habituados, ficam sem saber o que fazer, e normalmente acabam “empurrando quadrados dentro de buracos circulares”, porque tentam forçar o uso das soluções triviais que conhecem, em vez de formular outras que possam ser mais apropriadas.

Esse fato me leva a pensar que um dos maiores erros que um trader pode cometer é começar a estudar o Mercado acreditando que deve usar médias móveis e seguir tendências. O fato é que realmente se deve usar médias móveis e seguir tendências, porém o correto seria duvidar disso tanto quanto possível, e só começar acreditar que se deve agir assim depois que muitas tentativas de fazer algo diferente se mostrassem infrutíferas, porque aqueles que simplesmente acreditam que devem seguir tendências não diferem muito daqueles que acreditam que devem usar Fibonacci, e a única vantagem de quem acredita em tendências é que tem sorte por ter fé em algo que funciona, porém ambos não compreenderão o que estão fazendo nem porquê estão fazendo daquele modo, e não saberão lidar com casos imprevistos nem poderão solucionar a grande maioria dos problemas inéditos que surgirem. O erro não está em usar as médias e seguir as tendências, mas sim em criar o péssimo hábito de agir sem questionar as causas, sem procurar compreender os processos subjacentes que justificam o comportamento observado.

Outro erro básico é pensar que quanto mais melhor. Uma das primeiras possibilidades que considerei, e rapidamente descartei, ao começar a mexer com sistemas automáticos, em outubro de 2006, foi justamente usar o máximo de indicadores combinados. Depois cheguei a retomar esta idéia em várias ocasiões, mas todas as vezes fui barrado pelo mesmo problema: excede o poder de processamento das máquinas. A idéia é fundamentalmente correta, porém inexeqüível por limitações tecnológicas. Em 2007, um professor da Unicamp me sugeriu a mesma coisa, e expliquei a ele que não seria possível, mas ele não se convenceu. Recentemente, recebi propagandas de uma pessoa tentando me vender um EA. O teor da propaganda era semelhante às de xampu, do tipo: “está cientificamente comprovado que o 10 em 1 creme de gororoba deixa seus cabelos 354% mais liso”. Obviamente não quis perder a oportunidade de conversar com o sujeito e saber o que ele tinha a dizer em defesa do que ele pretendia me vender. Salvei toda a conversa no MSN, e vários trechos foram hilários. O sujeito começou me chamando de “meu rei”. Uma ex-namorada me chamava de “princesinho”, mas um homem me chamar de “meu rei” me pareceu um pouco, digamos, anti-profissional. Logo no início, ele disse que o EA era baseado em mais de 20 indicadores combinados. Este comentário, por si, já demonstrava que o EA tinha baixíssimas probabilidades de funcionar, devido às imensas dificuldades para se otimizar um EA que use tantos parâmetros. Ao longo da conversa, ele se saiu surpreendentemente bem, muito melhor do que eu achava que ele se sairia, e é provável que ele consiga convencer grande parte das pessoas de que o produto dele funciona. Meu foco era simples: eu pedi a ele que me convencesse por meio de um back test de 8 anos ou com uma performance em tempo real acima de 1000%, em quanto tempo ele quisesse, 10 anos, 1 ano, 2 meses, quanto ele quisesse, desde que fosse acima de 1000%, já que performances de 100% ou menos podem ser obtidas por mera sorte, pois um sistema que opere aleatoriamente tem quase 50% de probabilidade de chegar a +100% de lucro antes de quebrar. Mas tem bem poucas chances de chegar a 1000% ou mais. Ele disse que levaria anos para chegar a 1000%, e não interessava a ele disponibilizar um teste tão demorado, e disse que não podia fazer back test porque senão eu ficaria com cópia do EA, além de ele operar vários pares de uma vez, mas nos back tests só se consegue rodar em 1 par de cada vez. Para a primeira objeção, eu disse que poderia levar minha plataforma e minha base de dados para testes num DVD, e ele rodaria na máquina dele, depois destruiríamos o DVD, de modo que eu não ficaria com cópia de nada. Quanto à segunda objeção dele, era legítima, embora ele não tivesse apresentado argumentos suficientes. Se um EA opera vários pares e aproveita correlações entre estes pares para conter o risco e contrabalançar posições opostas, e em vez de fechar uma posição de 1 lote de EURUSD, pode-se abrir uma posição de USDCHF de mesmo tamanho e deixar ambas abertas, e quando uma delas der sinal de inversão, fechar a positiva e deixar a outra; isso pode ser, em alguns casos, melhor do que usar stop. Em lugar de comprar USDCHF, poderia ser também uma venda de EURUSD para contrabalançar a outra, com algumas pequenas diferenças pelo fato de haver correlação -1 no segundo caso e um pouco menor (módulo menor) no primeiro. No entanto, ele não justificou dessa maneira, sem contar que ele não demonstrava ter conhecimento sobre como reduzir a redundância entre os tais indicadores, além de outros problemas. Enfim, ele não foi nada convincente para meus padrões, mas tenho quase certeza de que deve ter seduzido muitas pessoas. Não é minha intenção julgar o rapaz, aliás, não acho que ele seja muito pior do que a grande maioria dos gestores e fundos e prospectores para estes fundos, que existem por aí, ou os vendedores de cursos de análise gráfica, que ensinam a fazer desenhos bonitos, porém inapropriados para se fazer qualquer prognóstico com base nos tais desenhos. A diferença é que ele talvez deixe as pessoas perderem sem limites, enquanto os fundos, pelo menos em teoria, interrompem as perdas em determinado ponto, e os cursos de análise técnica não causam perda diretamente, apenas colocam nas mãos da pessoa a corda para se enforcarem. Claro que durante os períodos de alta, como qualquer estratégia sem sentido acaba produzindo lucro, muitos acabam se iludindo com as técnicas que usam, mas basta uma reversão para os trazer de volta à realidade.

Com um limite em torno de 9,23 quintilhões de possibilidades, o algoritmo genético do Meta Trader não consegue otimizar sistemas com grande quantidade de parâmetros. Esta era uma das dificuldades a serem superadas em nossos back tests. Usar muitos indicadores inevitavelmente incorre neste problema. Vejamos um exemplo:

IFR entre 0 e 100 variando de 1 em 1
Stop Loss entre 5 e 500 variando de 5 em 5
Take Profit entre 5 e 1000 variando de 5 em 5
Trailing Stop entre 5 e 500 variando de 5 em 5
Período da média curta entre 1 e 100 variando de 1 em 1
Período da média longa entre 2 e 200 variando de 1 em 1

Estas 6 variáveis, com apenas 3 indicadores, já totalizam mais de 4.000.000.000.000 de possibilidades. Com mais 2 ou 3 variáveis e ultrapassaria o limite do Meta Trader. Estreitar o intervalo, algo como IFR mínimo entre 10 e 40 e máximo entre 60 e 90, é um procedimento elementar que ajuda a atenuar o problema, bem como usar passos mais largos, como Take Profit entre 10 e 1000 variando de 10 em 10 (em vez de variar de 5 em 5). Tais medidas são adotadas por todo mundo, porém há outras medidas simples que praticamente ninguém adota e que podem tornar a otimização muito mais rápida e eficiente. Um dos truques consiste em definir o Trailing Stop como uma fração do Take Profit, já que não faz sentido ter valores de TS maiores que o TP, conforme comentei no fórum de Forex Pivot Brasil. O mesmo vale nos casos das médias móveis, já que quando uma é necessariamente mais longa, pode-se colocar uma como fração da outra. Isso elimina milhões de casos de M1 > M2, que não fariam sentido, e enxuga a otimização. Estes pequenos detalhes, relativamente simples, incrivelmente não são usados em nenhum EA do mundo, até onde sei, e foi considerado importante e inovador quando postei isso no maior fórum sobre Forex em língua portuguesa. Um típico caso de vício cognitivo que coloca viseiras nas pessoas, limitando muito a visão para possibilidades diferentes das tradicionais. Mas estes pequenos aprimoramentos não resolviam o problema do Saturno 3.0 para rodar em GBPUSD e USDJPY, e ainda ultrapassava sextilhões de possibilidades. A solução foi um pouco mais requintada, mas ainda assim bastante simples (prefiro não revelar os detalhes), e agora o Saturno 3.02 está conseguindo operar também GBPUSD, mas ainda estão sendo feitos alguns testes de confirmação. Um detalhe surpreendente foi que, embora a volatilidade na GBPUSD seja maior que no EURUSD, alguns parâmetros associados à volatilidade, que deveriam ficar maiores na GBPUSD, acabaram ficando menores, enquanto outros, que deveriam ficar menores, acabaram maiores.

O fato é que o EA do rapaz, com 20 indicadores, sem contar stop, take profit etc., mesmo ele se valendo de vários recursos, inclusive fazendo algumas mágicas, seria extremamente difícil não ultrapassar os limites do algoritmo genético do Meta Trader. Além disso, mesmo que fosse possível otimizar todas as variáveis, o risco de uma superespecialização seria muito alto. Quanto mais indicadores se usa, mais especializado deve ficar o EA no período de teste e menores são as probabilidades de que ele continue a funcionar nos anos subseqüentes. Um EA com 3 ou 4 indicadores deve estar no limite prático do que pode ser otimizado, podendo chegar a 5 ou 7 em situações especiais. A dificuldade de otimização (se feita corretamente) cresce exponencialmente com o aumento no número de indicadores.

Outro erro grave e freqüente é pensar que quanto menos, melhor. O erro anterior é menos grave, pois só representa um erro enquanto não existem equipamentos suficientemente velozes, portanto não representa um erro em si, mas sim inadequação aos recursos disponíveis, ao passo que o erro da simploriedade é intrínseco e real. Idéias excessivamente simples têm poucas chances de funcionar e isso é bem fácil de mostrar: basta tentar otimizar estratégias simples para constatar que nenhuma configuração possível as torna promissoras. Apesar dessa facilidade para verificar que não funcionam, mais de 99% das pessoas não se preocupam em testar suas estratégias antes de usá-las. Entre os 1% que testam, a maioria o faz sem o uso de sistemas automáticos e os testes acabam sendo horríveis. Menos de 0,1% faz testes usando sistemas automáticos, e praticamente todos estes 0,1% incorrem em dezenas ou centenas de falhas metodológicas ao fazer os testes. Um amigo que contratou minha consultoria em 2008, por exemplo, extremamente capacitado, pensou que poderia usar bases final de dia, em vez de bases tick-by-tick, desde que configurasse para usar as barras passadas para gerar o sinal e só entrasse no fechamento ou na abertura do candle seguinte, assim não importariam os ticks internos do candle. Outro amigo, membro da Sigma e que em 2006 me ajudou a editar uma base de ticks, está usando bases de 1 minuto e 5 minutos, com base na mesma hipótese. Expliquei a ambos que há vários problemas, e expliquei alguns, mas não consegui convencer o Lutz de que testes em bases de 1 ou 5 minutos são inapropriados. Ele inscreveu seu “Lucky” no Automated Trading Championship 2008. Naturalmente estou torcendo por ele, mas os resultados dos testes mostram que provavelmente não terá muito sucesso. Convém dizer também que Lutz deduziu o critério Kelly (sem conhecer) e teve escore muito alto no Sigma Test, é uma pessoa excepcionalmente talentosa, muito criativo e com pensamento lógico exato e profundo. Apesar disso, mesmo há quase 2 anos no Forex, ainda faz testes que pecam em muitos, muitos aspectos. Fazer testes apropriados é imprescindível, caso contrário não é possível identificar estratégias vitoriosas ao deparar com elas, nem é possível otimizar corretamente os parâmetros. É possível que ninguém no Brasil e, talvez, pouquíssimos no mundo façam back tests usando metodologia apropriada. A quantidade de detalhes que devem ser considerados é muito maior do que a maioria imagina. O uso de bases de ticks é a ponta do iceberg, e mesmo 2 anos depois de eu ter escrito meu primeiro artigo chamando a atenção para esta necessidade, ainda há muitos traders altamente capacitados usando bases de 1 minuto.

Outro erro que se comete é pensar que quanto mais sofisticado, melhor. Eu já incorri neste erro algumas vezes e ainda não estou imune a ele. O uso de estimadores robustos é objetivamente melhor do que o uso de estatísticas clássicas, porém o tempo de processamento necessário para otimizar indicadores robustos torna discutível o seu uso. Há meios de contornar este problema, mas sempre é necessário levar em conta se uma otimização com 10.000 gerações usando um indicador clássico não seria mais útil do que com 100 gerações usando um indicador robusto, ou ainda se dedicar 10 dias a uma otimização com indicador clássico não seria melhor do que dedicar 1000 dias à otimização de um indicador robusto, pois no primeiro caso os 990 dias restantes poderiam ser aproveitados no aprimoramento da estratégia. Uma das soluções mais simples consiste em fazer otimizações preliminares com indicadores clássicos, para poupar tempo e ter uma idéia aproximada do intervalo no qual cada variável deve ser otimizada, para numa segunda etapa substituir os indicadores clássicos por outros robustos e então fazer um refinamento, mas isso pode não funcionar em algumas situações. A sofisticação pode ser boa na maioria dos casos, assim como a simplificação (na acepção de Occam), porém o bom-senso deve estar sempre presente para estimar até que ponto a sofisticação e a simplificação são desejáveis, toleráveis, úteis.

De modo geral, é importante evitar vícios cognitivos, evitar repetir mecanicamente os mesmos procedimentos, sem se questionar sobre a eficiência e a legitimidade do que se está fazendo. Evitar acreditar no que dizem os livros, os sites, os gurus. No livro “Magos do mercado”, por exemplo, os entrevistados dizem tantos absurdos e cometem tantos erros que chega a causar espanto que tenham conseguido tanto sucesso. Provavelmente chegaram ao topo mais por terem um feeling excepcional do que por terem desenvolvido algum método funcional e o seguirem sistematicamente. Bruce Kovner, que me pareceu um dos mais lógicos entre os entrevistados, algumas vezes deu respostas que nem sequer eram pertinentes à pergunta que lhe havia sido feita. Na ocasião em que opinou sobre um trader precisar de algum talento especial ou se bastava treinamento, a meu ver, expôs uma opinião contraditória. Em algumas situações, seria compreensível que uma resposta evasiva fosse intencional, para evitar fornecer informações sigilosas, mas naquela situação parece que ele simplesmente não tinha uma idéia clara de quais deveriam ser os elementos necessários para ser um bom trader, que, aliás, não é uma questão fácil, sobretudo para uma pessoa que não seja especialista em cognição e epistemologia. Ele afirmou que não achava necessário ter algum tipo de talento especial, porém ele selecionou, entre mais de 1000 pessoas, apenas 20 para serem treinados, e, entre os quesitos, a pessoa deveria jogar Xadrez, além disso, escolheu justamente os mais inteligentes do grupo, e ainda alegou que só escolheu os mais inteligentes porque estavam disponíveis, não porque a inteligência fosse um quesito primordial. Bem, os outros 980 menos inteligentes também haviam se colocado à disposição, então acho que não procede ele ter dito que selecionou os mais inteligentes apenas porque estavam disponíveis. Como se isso não bastasse, uma das perguntas que ele fez no processo seletivo foi: “se você achasse que um determinado ativo deveria ser comprado, e, então, você telefonasse para o Pregão e soubesse que eu (Bruce Kovner) estava vendendo aquele ativo, o que você faria?” e a resposta que ele considerava apropriada era que a pessoa mantivesse a decisão dela própria, ou seja, que a pessoa fosse fiel ao seu estilo pessoal e ao seu feeling mais do que ao método que Kovner lhe havia ensinado e praticado, demonstrando que ele queria pessoas que confiavam no próprio talento mais do que nas técnicas estudadas. Outra contradição meio grave é cometida por Michael Marcus, que diz que não acredita que atualmente (1988) seja possível ganhar usando sistemas seguidores de tendência, como se fazia na década passada (aludindo a Ed. Seykota). Mais adiante, ele aponta como uma das recomendações mais importantes: manter as posições ganhadoras e fechar as perdedoras. Mas essa recomendação só faz sentido se o trader estiver seguindo tendência! Apesar dos erros e contra-sensos, o livro é muito interessante e tem vários trechos úteis. Além disso, há muito menos erros do que em “Axiomas de Zurique”, e, embora não seja tão bom quanto “Reminiscências de um especulador financeiro”, tem a vantagem de ser mais atual. Diria que é um dos melhores livros sobre o assunto, porém li tão poucos que não estou capacitado para emitir um parecer sobre quais os melhores. Outro comentário que me chamou a atenção foi a declaração de Paul Thudor Jones, de que usa Ondas de Elliot. Talvez, pela experiência e sensibilidade que ele adquiriu, o uso do conceito das ondas para ajudar no reconhecimento de padrões pode ter sido muito útil, porém não conheço e não creio que seja possível descrever objetivamente como as ondas deveriam ser usadas, de modo que um sistema automático fosse capaz de testar concretamente a eficiência do método e produzir resultados positivos. As ondas são facilmente reconhecidas quando se olha para o passado, mas usá-las como meio de previsão é esotérico.

Para finalizar, além das dicas postadas no Forex Pivot Brasil, aqui e em alguns artigos, há muitas outras que não divulgo, ou algumas que são divulgadas exclusivamente em consultorias. Duas delas são sobre o fator de lucro e percentual da carteira. O fator de lucro, tal como é calculado pelo Meta Trader, não faz sentido quando o crescimento é exponencial, porque se a performance for ruim no início do período de teste e melhor no final, o fator de lucro fica artificialmente grande. Para que se possa comparar o fator de lucro entre dois conjuntos de parâmetros é preciso levar isso em consideração, pois em alguns casos um fator de lucro 2,3 pode ser efetivamente menor do que 1,9, mesmo mantendo iguais o balanço, drawdown, número de trades etc. O simples fato de os movimentos mais longos ocorrerem no final do período já torna o fator de lucro inflacionado. Isso significa que pode ser melhor usar lotes fixos nos testes, em vez de usar um percentual da carteira, pois assim tanto no início quanto no final, os movimentos terão mesmo efeito sobre o fator de lucro. Por outro lado, durante a otimização podem ocorrer longos períodos de estabilidade, com a carteira não crescendo nem decrescendo durante anos, e quase todo o ganho ser produzido em apenas 10% do período, com alguns sobressaltos, o que é ruim, pois não há constância na evolução da carteira. Seria muito mais aconselhável eleger um conjunto de parâmetros em que o crescimento seja uniformemente distribuído ao longo de todo o período de teste. Para contornar este problema, é vantajoso usar porcentagens da carteira em cada operação, em vez de lotes fixos, e usar a maior porcentagem possível, perto de levar margin call, porque assim, um conjunto de parâmetros que deixe o sistema estável durante alguns anos usando 50% da carteira em cada operação, deixaria o mesmo sistema subindo se aplicasse 10% em cada operação, porque se perder 50% numa operação, precisará ganhar 100% para voltar ao valor original, mas se perder 10%, basta subir 11,1% para voltar ao valor original. Esta é uma maneira indireta de dizer ao programa que você quer resultados nos quais o crescimento seja constante, ou quase monotônico. Nenhum livro fala sobre isso, nenhum site, nenhum fórum trata disso, e estes detalhes fazem uma diferença enorme. Estes são alguns dos muitos diferenciais mais simples adotados na metodologia de otimização do Saturno. Isso faz dele não apenas o melhor, mas além disso é o melhor mesmo submetido aos testes mais rigorosos e bem fundamentados. Isso significa que é melhor usar lotes fixos ou porcentagem da carteira, ao fazer uma otimização? Bom, depende. :-)

Para finalizar, uma sugestão de link para download de milhares EAs e indicadores gratuitos e alguns comerciais (EuroX2 e Phoenix 5, por exemplo): http://www.forexmt4.com/mt_yahoo. Nenhum deles funciona (não tem esperança matemática positiva), mas possuem algumas strings prontas que podem ser úteis, além disso, é como disse certa vez Thomas Edison, depois de 8.000 tentativas frustradas: “agora pelo menos sabemos 8.000 maneiras diferentes de como isso não deve ser feito”.