Em palavras simples — Overfitting ocorre quando a estratégia aprende detalhes acidentais do passado como se fossem uma regra repetível. Ela explica muito bem a amostra usada e degrada fora dela.
Overfitting é o ajuste excessivo de modelo, regra ou processo ao ruído e às particularidades da amostra histórica. Em trading, também surge da seleção: se muitas estratégias são testadas, alguma pode vencer por acaso. O melhor backtest observado não é uma estimativa neutra do desempenho futuro.
De onde nasce
- parâmetros demais para a informação disponível;
- features, universos, janelas e filtros escolhidos após ver o resultado;
- regras complexas que capturam eventos únicos;
- seleção retrospectiva da fonte ou do tratamento dos dados;
- custos e fills ajustados para favorecer a curva;
- divulgação apenas dos modelos vencedores;
- consultas repetidas ao mesmo holdout.
Complexidade não é apenas quantidade de parâmetros. Uma pesquisa com regra simples, mas milhares de variantes, também possui grande capacidade de seleção.
Sintomas, não diagnósticos automáticos
Um pico estreito de parâmetro, desempenho concentrado em poucos trades, queda forte fora da amostra, turnover incompatível com custos e lógica econômica fraca são sinais de fragilidade. Nenhum prova sozinho overfitting: uma relação real pode ser instável e um modelo sobreajustado pode continuar funcionando por algum tempo.
A diferença entre treino e teste ajuda, mas depende da incerteza e da forma de seleção. O foco é o processo completo, não uma única métrica.
Testes múltiplos e vencedor aparente
Com muitos candidatos, o máximo incorpora acaso. O Reality Check de White compara o modelo escolhido com um benchmark considerando a busca. A Probability of Backtest Overfitting (PBO) mede a probabilidade de o melhor in-sample ficar abaixo da mediana OOS das alternativas, não a probabilidade de perder dinheiro. O Deflated Sharpe Ratio trata seleção e não normalidade, considerando duração da amostra e tentativas independentes, distintas da contagem bruta. Cada método tem premissas; nenhum substitui o registro de alternativas e a hipótese econômica.
Protocolo de contenção
- Formular hipótese e critérios antes de observar o teste.
- Limitar a busca a variações economicamente justificadas.
- Registrar todos os candidatos, inclusive os negativos.
- Separar treino, seleção e teste final por tempo.
- Ajustar preprocessing apenas dentro de cada treino.
- Verificar regiões de parâmetros, subperíodos, ativos, custos e atrasos.
- Quantificar incerteza, dependência e multiplicidade.
- Congelar a versão antes de paper ou forward test.
Regularização, simplicidade e shrinkage podem reduzir variância, mas não corrigem dados ruins ou seleção retrospectiva.
Exemplo ilustrativo
Exemplo ilustrativo: uma pesquisa testa todas as combinações de dez lookbacks,
cinco limiares e quatro universos: 10 × 5 × 4 = 200 configurações,
antes de custos, períodos e filtros posteriores. Não são necessariamente 200
testes independentes: muitos compartilham dados e regras. A configuração com
maior Sharpe histórico não pode ser avaliada como hipótese única prévia. O
protocolo preserva todos os testes, seleciona na validação, considera o
comparativo múltiplo e consulta o teste final uma vez. Os números ilustram a
seleção, não um limiar de aceitação.
Se o teste final for usado para alterar lookback ou universo, deixa de ser não visto para a nova versão. O fracasso não prova que a ideia não tenha valor; mostra que a especificação testada não forneceu a evidência prevista.
Robustez e OOS não são provas definitivas
Uma estratégia pode passar no OOS por sorte, sobretudo se o segmento foi consultado repetidamente. Testes de robustez também podem ser escolhidos até obter resultado favorável. A evidência aumenta quando protocolo, tentativas, custos, dependência, subperíodos e prova prospectiva contam a mesma história, mas sempre permanece condicionada ao regime e ao modelo.
Graus de liberdade escondidos
Complexidade não é apenas o número de parâmetros do modelo. Escolher universo, período inicial, frequência, filtro, tratamento de outliers, função objetivo, benchmark e gráfico apresentado também cria graus de liberdade. Mesmo uma regra com dois números pode estar sobreajustada se nasceu depois de dezenas de decisões orientadas pelo mesmo histórico.
O controle começa com um diário de pesquisa: hipótese, variantes testadas, critério de descarte e resultado de cada uma. Especificações aparentadas são uma família, não descobertas independentes. Preferir regiões estáveis a um pico isolado, perturbar parâmetros e repetir em ativos ou períodos plausíveis ajuda a verificar se existe estrutura além do acaso.
A governança separa desenvolvimento e liberação do teste final, quando possível, e impede a substituição silenciosa do holdout. Isso não garante que o futuro repetirá o passado; torna visível quanto da evidência foi gasto na seleção e reduz a apresentação seletiva do vencedor.
Uma comparação honesta inclui uma especificação simples e plausível. Se a versão complexa melhora muito no treino, mas não preserva vantagem em janelas independentes, sob custos ou pequenas perturbações, a complexidade adicional não recebeu suporte suficiente. O foco não é premiar simplicidade por si só, mas exigir evidência proporcional às escolhas que o histórico permitiu fazer.
Limites
Não existe número universal de parâmetros, trades ou valor OOS que separe modelo válido de overfit. Estratégias realmente não lineares podem exigir complexidade; estratégias simples podem esconder ampla seleção. O diagnóstico é comparativo e processual.
Fontes
Fontes verificadas em 8 de setembro de 2026; trechos consultados indicados abaixo.
- Halbert White, A Reality Check for Data Snooping, Econometrica, 2000 — resumo da editora: reuso de dados e comparação com benchmark.
- Ryan Sullivan, Allan Timmermann & Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap, The Journal of Finance — 1999, resumo: Reality Check no universo de regras técnicas examinado.
- David H. Bailey et al., The Probability of Backtest Overfitting — cópia do autor, fevereiro de 2015, §2, definição 2.2.
- Campbell R. Harvey, Yan Liu & Heqing Zhu, …and the Cross-Section of Expected Returns, The Review of Financial Studies — resumo da editora: 2016, resumo da editora: comparações múltiplas na pesquisa de retornos.
- David H. Bailey & Marcos López de Prado, The Deflated Sharpe Ratio — cópia do autor, 2014, seção DSR e apêndice 3.