Em palavras simples — Overfitting ocorre quando a estratégia aprende detalhes acidentais do passado como se fossem uma regra repetível. Ela explica muito bem a amostra usada e degrada fora dela.
Overfitting é o ajuste excessivo de modelo, regra ou processo ao ruído e às particularidades da amostra histórica. Em trading, também surge da seleção: se muitas estratégias são testadas, alguma pode vencer por acaso. O melhor backtest observado não é uma estimativa neutra do desempenho futuro.
De onde nasce
- parâmetros demais para a informação disponível;
- features, universos, janelas e filtros escolhidos após ver o resultado;
- regras complexas que capturam eventos únicos;
- dados contaminados, revisados ou com survivor bias;
- custos e fills ajustados para favorecer a curva;
- divulgação apenas dos modelos vencedores;
- consultas repetidas ao mesmo holdout.
Complexidade não é apenas quantidade de parâmetros. Uma pesquisa com regra simples, mas milhares de variantes, também possui grande capacidade de seleção.
Sintomas, não diagnósticos automáticos
Um pico estreito de parâmetro, desempenho concentrado em poucos trades, queda forte fora da amostra, turnover incompatível com custos e lógica econômica fraca são sinais de fragilidade. Nenhum prova sozinho overfitting: uma relação real pode ser instável e um modelo sobreajustado pode continuar funcionando por algum tempo.
A diferença entre treino e teste ajuda, mas depende da incerteza e da forma de seleção. O foco é o processo completo, não uma única métrica.
Testes múltiplos e vencedor aparente
Com muitos candidatos, o máximo incorpora acaso. Candidatos correlacionados não equivalem a testes independentes, mas ainda aumentam o espaço de busca. White's Reality Check, Probability of Backtest Overfitting e Deflated Sharpe Ratio tratam aspectos dessa seleção sob premissas próprias. Nenhum substitui o registro das alternativas e uma hipótese econômica.
Protocolo de contenção
- Formular hipótese e critérios antes de observar o teste.
- Limitar a busca a variações economicamente justificadas.
- Registrar todos os candidatos, inclusive os negativos.
- Separar treino, seleção e teste final por tempo.
- Ajustar preprocessing apenas dentro de cada treino.
- Verificar regiões de parâmetros, subperíodos, ativos, custos e atrasos.
- Quantificar incerteza, dependência e multiplicidade.
- Congelar a versão antes de paper ou forward test.
Regularização, simplicidade e shrinkage podem reduzir variância, mas não corrigem dados ruins ou seleção retrospectiva.
Exemplo ilustrativo
Uma pesquisa testa 16 combinações de janela e limiar. Uma configuração produz Sharpe muito superior, enquanto as vizinhas são medíocres e o lucro vem de um único episódio. Escolher o pico e reportá-lo como se fosse o único teste superestima a evidência. Uma análise adequada preserva todas as combinações, explica a regra de escolha e verifica o comportamento fora da amostra.
Robustez e OOS não são provas definitivas
Uma estratégia pode passar no OOS por sorte, sobretudo se o segmento foi consultado repetidamente. Testes de robustez também podem ser escolhidos até obter resultado favorável. A evidência aumenta quando protocolo, tentativas, custos, dependência, subperíodos e prova prospectiva contam a mesma história, mas sempre permanece condicionada ao regime e ao modelo.
Graus de liberdade escondidos
Complexidade não é apenas o número de parâmetros do modelo. Escolher universo, período inicial, frequência, filtro, tratamento de outliers, função objetivo, benchmark e gráfico apresentado também cria graus de liberdade. Mesmo uma regra com dois números pode estar sobreajustada se nasceu depois de dezenas de decisões orientadas pelo mesmo histórico.
O controle começa com um diário de pesquisa: hipótese, variantes testadas, critério de descarte e resultado de cada uma. Especificações aparentadas são uma família, não descobertas independentes. Preferir regiões estáveis a um pico isolado, perturbar parâmetros e repetir em ativos ou períodos plausíveis ajuda a verificar se existe estrutura além do acaso.
A governança separa desenvolvimento e liberação do teste final, quando possível, e impede a substituição silenciosa do holdout. Isso não garante que o futuro repetirá o passado; torna visível quanto da evidência foi gasto na seleção e reduz a apresentação seletiva do vencedor.
Uma comparação honesta inclui uma especificação simples e plausível. Se a versão complexa melhora muito no treino, mas não preserva vantagem em janelas independentes, sob custos ou pequenas perturbações, a complexidade adicional não recebeu suporte suficiente. O foco não é premiar simplicidade por si só, mas exigir evidência proporcional às escolhas que o histórico permitiu fazer.
Limites
Não existe número universal de parâmetros, trades ou valor OOS que separe modelo válido de overfit. Estratégias realmente não lineares podem exigir complexidade; estratégias simples podem esconder ampla seleção. O diagnóstico é comparativo e processual.
Fontes
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — avaliação do melhor modelo após pesquisar muitas alternativas.
- Ryan Sullivan, Allan Timmermann e Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap, The Journal of Finance, 1999 — aplicação direta às regras técnicas de trading.
- David H. Bailey et al., The Probability of Backtest Overfitting — seleção in-sample e perda de ranking fora da amostra.
- Campbell R. Harvey, Yan Liu e Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies, 2016 — testes múltiplos na pesquisa de retornos esperados.
- David H. Bailey e Marcos López de Prado, The Deflated Sharpe Ratio — correção para selection bias e não normalidade na interpretação do Sharpe.