Em palavras simples — Out of sample é uma parte dos dados que não participou da construção da estratégia. Ela pergunta como uma regra já escolhida se comporta em observações posteriores.
Uma avaliação out of sample (OOS) usa observações que não foram usadas para estimar, ajustar ou selecionar a estratégia. Em séries financeiras, a separação é principalmente temporal: treinar no futuro e testar no passado quebraria a ordem real das decisões. OOS reduz a reutilização da amostra, mas não torna o resultado independente nem garante validade futura.
In-sample, validação, teste e forward não são sinônimos
| Segmento | Função |
|---|---|
| In-sample / treino | estimar e desenvolver regras e parâmetros |
| Validação | comparar candidatos e tomar decisões de seleção |
| Teste final / holdout | avaliar a configuração já congelada |
| Forward test | observar prospectivamente regras congeladas em dados novos |
Quando a equipe vê o teste e altera uma feature, limiar, universo ou custo, o teste passou a informar o desenvolvimento. Ele não volta a ser intacto. O resultado pode continuar útil, mas precisa ser descrito como iteração, não como avaliação nunca consultada.
O split não tem proporção universal
Divisões como 70/30 não são leis. Um teste curto pode não conter regimes ou eventos suficientes; um treino curto pode estimar mal parâmetros. A escolha depende do horizonte do sinal, frequência, quantidade efetiva de observações, mudança estrutural, número de candidatos e uso da estratégia.
Datas adjacentes também não são necessariamente independentes. Labels que usam retornos futuros podem se sobrepor ao redor da fronteira; posições mantidas por vários dias compartilham o mesmo caminho; features de janela longa carregam informação próxima ao teste.
Purging e embargo
Purging remove do treino observações cujos intervalos informativos ou labels se sobrepõem ao teste. Embargo cria uma faixa adicional de separação para reduzir contaminação por proximidade. O tamanho não é arbitrário: relaciona-se ao horizonte da label, às janelas e à persistência do processo.
Esses procedimentos tratam uma forma de dependência. Não corrigem dados revisados, universo sobrevivente, seleção repetida ou custos irreais.
Protocolo de validação
- Fixar a pergunta, unidade de previsão e horizonte.
- Ordenar por tempo de disponibilidade, não apenas pela data econômica.
- Ajustar preprocessing somente no treino de cada split.
- Separar desenvolvimento, seleção e teste final.
- Aplicar gap, purging ou embargo quando houver sobreposição relevante.
- Registrar cada consulta e cada candidato.
- Agregar períodos de teste sem esconder dispersão, regimes ou concentração.
- Congelar especificação e critérios antes da prova prospectiva.
Walk-forward e teste final
No walk-forward, o modelo é estimado numa janela e avaliado no período seguinte; a origem avança e o processo se repete. A janela pode ser rolling, com tamanho constante, ou expanding, acumulando história. O desenho reproduz recalibrações temporais, mas os resultados de cada fold ainda podem influenciar a escolha do procedimento.
Quando os dados permitem, um teste final distinto preserva uma avaliação após as decisões de walk-forward. Quando não permitem, é melhor declarar a natureza iterativa e ampliar a incerteza do que fingir uma independência inexistente.
Exemplo ilustrativo
Uma estratégia mensal usa cinco anos para estimar parâmetros e avalia os seis meses seguintes. A janela avança seis meses. Como algumas labels medem retorno em três meses, observações de treino que atravessam a fronteira são removidas. Métricas são calculadas por fold e no conjunto, mostrando períodos negativos e custos. O exemplo não define janelas universais; explicita a lógica temporal.
Isolamento da decisão e agregação
O valor do teste depende do que permaneceu realmente desconhecido. Antes de abri-lo, devem estar congelados regra, parâmetros, universo, custos, benchmark e métricas. Se o pesquisador consulta o resultado e volta para ajustar a estratégia, aquele segmento passa a fazer parte do desenvolvimento; chamar uma segunda execução de “out of sample” não restaura sua independência.
Por isso, o registro de pesquisa deve ligar cada resultado à versão da especificação e contar alternativas examinadas, inclusive as abandonadas. Em um walk-forward, cada janela produz uma observação prospectiva distinta. Elas podem ser agregadas, mas convém manter também dispersão, pior janela, regimes e custos por período. Uma média única pode esconder que o método funciona somente em um episódio.
O teste final não transforma automaticamente uma hipótese em estratégia pronta. Ele estima comportamento sob um protocolo específico e uma história limitada. Paper trading e forward test acrescentam evidência sobre dados, latência e execução; monitoramento continua necessário depois da ativação.
Limites
Um bom OOS ainda pode coincidir com sorte, regime favorável ou seleção entre muitos projetos. Um OOS ruim pode refletir pouca amostra ou mudança real. O teste informa sobre determinado processo, período e escala; não certifica estabilidade futura. Robustez, registro de tentativas e forward test fornecem evidências complementares.
Fontes
- Leonard J. Tashman, Out-of-sample tests of forecasting accuracy: an analysis and review, International Journal of Forecasting, 2000 — rolling origin, recalibração e múltiplos períodos de teste.
- Christoph Bergmeir e José M. Benítez, On the use of cross-validation for time series predictor evaluation, Information Sciences, 2012 — desenhos de validação cruzada para preditores temporais.
- Christoph Bergmeir, Rob J. Hyndman e Bonsoo Koo, A note on the validity of cross-validation for evaluating autoregressive time series prediction, 2018 — condições para validade da cross-validation em séries autorregressivas.
- David H. Bailey et al., The Probability of Backtest Overfitting — seleção entre configurações e limites do holdout simples em backtests de investimento.
- Marcos López de Prado, Advances in Financial Machine Learning — índice oficial Wiley, Wiley, 2018 — referência monográfica para purged K-fold e embargo; não é apresentado aqui como artigo peer-reviewed.