Em palavras simples — Se muitas regras são testadas nos mesmos dados, encontrar uma vencedora deixa de ser surpreendente. A conclusão precisa considerar todo o processo de busca, não só o gráfico escolhido.
Data snooping ocorre quando os dados são reutilizados para formular, selecionar e confirmar hipóteses sem contabilizar essa reutilização. Testes múltiplos descrevem a inferência quando várias hipóteses são avaliadas. Em backtests, o problema inclui parâmetros, features, ativos, períodos, custos e regras que foram tentados, mesmo que só o vencedor seja publicado.
Overfitting e data snooping não são idênticos
Overfitting descreve ajuste excessivo à amostra. Data snooping descreve a seleção induzida por observar os dados repetidamente. Um modelo simples pode ser produto de milhares de tentativas; um modelo complexo pode ter sido predefinido. Na prática, os dois problemas se reforçam.
Por que o número de tentativas conta
Se m testes independentes têm probabilidade α de falso
positivo, a probabilidade de pelo menos um é:
1 − (1 − α)ᵐEstratégias candidatas normalmente são dependentes, portanto a fórmula é didática e não uma correção pronta. Ainda assim, mostra por que o contexto da busca importa. Tentar mais configurações torna o melhor resultado mais extremo mesmo quando nenhuma possui vantagem verdadeira.
Registro dos experimentos
O registro identifica hipótese, data, autor, código, dados, universo, janela, parâmetros, custos, métricas e resultado de cada execução. Também registra decisões: por que um candidato foi continuado ou descartado e quais dados foram vistos. Variações informais em planilhas e gráficos contam como tentativas.
Sem o registro, não é possível medir a multiplicidade nem reproduzir a genealogia do modelo final. Um número exato pode permanecer incerto, mas uma estimativa conservadora é mais informativa do que declarar uma hipótese única.
Ferramentas estatísticas: problema e finalidade
Reality Check avalia o melhor modelo de um conjunto diante de benchmark; procedimentos stepwise tratam hipóteses múltiplas dependentes; Deflated Sharpe Ratio ajusta a interpretação do Sharpe para seleção e distribuição; Probability of Backtest Overfitting estuda perda de ranking entre partições. Cada método tem hipóteses, objeto e limites próprios. Não se escolhe a correção depois de ver qual preserva a significância.
Um out-of-sample pode ser consumido
Se o pesquisador observa OOS e altera o modelo, a informação entrou no desenvolvimento. Repetir o processo transforma o holdout em ferramenta de seleção. Um teste final separado, governança de acesso ou prova prospectiva reduzem a reutilização; quando não existem dados suficientes, a limitação deve ser declarada.
Exemplo ilustrativo
Uma equipe testa cinco famílias, dez janelas e quatro filtros: já são 200 combinações antes de universos e custos. Apenas uma mostra Sharpe alto. O relatório correto apresenta o espaço de busca, dependência entre candidatos, regra de seleção, resultado OOS e incerteza ajustada. Exibir somente a combinação vencedora cria a aparência de uma hipótese predefinida.
Protocolo de redução do risco
- Predefinir hipótese, benchmark, métricas e critério decisório.
- Limitar variações a razões econômicas documentadas.
- Registrar todo teste e consulta ao holdout.
- Separar desenvolvimento, seleção e avaliação final.
- Usar método de inferência compatível com multiplicidade e dependência.
- Mostrar resultados negativos e sensibilidade.
- Preservar teste final ou declarar sua reutilização.
- Congelar a versão antes do forward test.
Dependência entre testes e memória da pesquisa
Contar estratégias não equivale a contar testes independentes. Variações de uma mesma média, filtros vizinhos e universos parecidos compartilham dados. Essa dependência dificulta uma correção simples pelo número bruto de tentativas, mas o resultado selecionado continua vindo de uma busca maior que a apresentada.
Por isso, a unidade de registro é a campanha de pesquisa. Ela conserva hipótese inicial, famílias testadas, decisões intermediárias, métricas usadas e motivo da escolha final. Mudanças feitas após olhar o holdout contam como nova exploração. Resultados negativos também permanecem no registro, pois apagá-los reduz artificialmente a multiplicidade visível.
Reality Check, ajustes de significância e métricas penalizadas podem ajudar, mas dependem de hipóteses e das alternativas informadas. O controle combina inferência com processo: limitar a busca, congelar critérios, reservar evidência não consultada e relatar a incerteza da seleção.
A multiplicidade atravessa equipes e publicações. Uma ideia pode parecer nova para um pesquisador depois de já ter sido explorada muitas vezes no mesmo mercado. Não é possível reconstruir todas as tentativas invisíveis, portanto a interpretação deve ficar mais prudente quando a hipótese é popular, a amostra é curta ou o efeito está próximo do limiar escolhido. Replicação em dados verdadeiramente novos vale mais que outro ajuste no mesmo histórico.
Fontes
- Halbert White, A Reality Check for Data Snooping — teste do melhor modelo quando a especificação é escolhida por pesquisa nos dados.
- Ryan Sullivan, Allan Timmermann e Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap — aplicação a amplo universo de regras técnicas.
- Campbell R. Harvey, Yan Liu e Heqing Zhu, …and the Cross-Section of Expected Returns — implicações dos testes múltiplos na pesquisa de retornos esperados.
- Joseph P. Romano e Michael Wolf, Stepwise Multiple Testing as Formalized Data Snooping — procedimentos stepwise para inferência múltipla dependente.
- David H. Bailey e Marcos López de Prado, The Deflated Sharpe Ratio — ajuste do Sharpe para seleção e características não normais dos retornos.