A chi serve — A chi deve valutare una strategia rispettando l'ordine del tempo, senza trasformare il futuro in informazione di sviluppo e senza affidarsi a un solo split arbitrario.
La validazione temporale valuta una procedura su osservazioni posteriori a quelle usate per stimarla o sceglierla. La walk-forward analysis ripete questo principio su origini successive: a ogni passo usa soltanto il passato ammesso dal protocollo, produce una decisione per il segmento seguente e poi avanza nel tempo.
Il metodo imita meglio una procedura che viene ricalibrata durante la vita operativa, ma non è una prova definitiva. Il risultato dipende da lunghezza e tipo delle finestre, frequenza di refit, orizzonte delle label, regole di selezione, costi e numero di configurazioni considerate. Se i risultati dei fold influenzano le scelte, fanno parte dello sviluppo; concatenarli non crea automaticamente un test finale incontaminato.
Disegni principali
| Disegno | Come usa il passato | Quando è informativo | Limite caratteristico |
|---|---|---|---|
| Holdout cronologico | sviluppo prima, test finale dopo | decisione finale semplice con test conservato | un solo periodo può essere poco rappresentativo |
| Rolling origin | origine di previsione avanza; il training può crescere | valutare più decisioni successive | risultati dipendenti e possibile adattamento iterativo |
| Expanding window | il training conserva tutta la storia disponibile | processo che apprende cumulativamente | dati remoti possono non rappresentare il regime corrente |
| Rolling window | il training mantiene una lunghezza finita | processo che dimentica il passato remoto | scelta della finestra e minore quantità di dati |
| Blocked cross-validation | blocchi temporali mantengono struttura locale | confronti sotto un disegno motivato | confini e dipendenza tra blocchi vanno verificati |
| Test finale prospettico | versione congelata su eventi futuri | controllo del processo realmente in avanti | tempo, costo e campione inizialmente limitato |
Non esiste uno split 70/30 universalmente corretto. Un sistema intraday con label sovrapposte, una strategia mensile e un modello macro con poche recessioni hanno quantità di informazione e dipendenze molto diverse, anche a parità di righe nel dataset.
Rolling o expanding
Con origine t, un disegno expanding usa tutte le osservazioni
ammesse fino a t; un disegno rolling usa soltanto le ultime
w. Il primo massimizza la storia, il secondo permette al processo di
dimenticare dati remoti. La scelta esprime un'ipotesi sulla stabilità, non un
dettaglio tecnico.
Ogni configurazione deve dichiarare:
- inizio e fine di training, validation e test per ciascun fold;
- finestra rolling o expanding e relativa motivazione;
- passo tra origini e lunghezza dell'orizzonte valutato;
- frequenza di refit, ricalibrazione e reselezione dei parametri;
- trattamento di warm-up, missing, nuovi strumenti e strumenti cessati;
- aggregazione dei risultati e dipendenza tra fold;
- data in cui una decisione basata sui fold viene presa.
Se a ogni passo si sceglie il miglior parametro usando il segmento successivo, quel segmento è validation, non test. Per ottenere una stima onesta della procedura, la scelta interna deve essere riprodotta usando solo l'informazione disponibile a quell'origine.
Label sovrapposte, gap, purging ed embargo
Nei problemi finanziari un'osservazione può usare informazione su un intervallo, non su un solo timestamp. Se una label misura il rendimento nei cinque giorni successivi, label adiacenti condividono giorni. Una riga formalmente precedente al test può quindi contenere esiti che entrano nel suo intervallo informativo.
Il purging rimuove dal training le osservazioni i cui intervalli informativi intersecano il test. Un gap o embargo lascia una separazione temporale motivata per ridurre contaminazioni legate a overlap o dipendenza. Questi strumenti sono associati in finanza alla formulazione divulgata da López de Prado; non sono una cura automatica. La loro ampiezza deve dipendere da orizzonte, costruzione delle feature, label e processo operativo, non da una percentuale fissa.
Eliminare righe non corregge un preprocessing stimato su tutto il campione, un universo costruito con survivor o revisioni future. Il controllo deve coprire l'intera pipeline.
Il caso del k-fold casuale
Dire che il k-fold casuale è sempre invalido per le serie temporali sarebbe troppo forte. Bergmeir, Hyndman e Koo mostrano condizioni in cui la cross-validation standard può essere valida per modelli puramente autoregressivi, in particolare quando gli errori non presentano correlazione. La lezione non è che il mescolamento sia generalmente sicuro, ma che la validità dipende dalla struttura del problema.
Nel trading, ordine causale, trasformazioni stimate, universi variabili, label sovrapposte e costi rendono di norma più prudente un disegno cronologico che riproduca l'uso previsto. Chi sceglie un disegno non cronologico deve dimostrare le condizioni che lo rendono appropriato e verificare i residui, non limitarsi a invocare il nome del metodo.
Esempio illustrativo
Una procedura viene ricalibrata all'inizio di ogni mese. Un fold expanding usa tutti i dati disponibili fino alla fine del mese precedente, seleziona una configurazione mediante una validazione interna anch'essa temporale e genera posizioni per il mese successivo. Dodici mesi producono dodici segmenti di valutazione.
Se l'analista osserva i dodici risultati e modifica le feature, l'intero insieme ha informato lo sviluppo. Può descrivere l'esperimento e ripetere il processo su un nuovo periodo, ma non deve continuare a presentare quei mesi come test finale mai visto. L'esempio non stabilisce che un mese sia il passo corretto: dipende da orizzonte e frequenza della strategia.
Aggregare senza perdere l'incertezza
Sommarne i rendimenti in una curva walk-forward mostra il percorso di una procedura simulata, ma non rende indipendenti i fold. Conviene riportare:
- risultati per fold e aggregati, non soltanto la media;
- date, regimi, strumenti e esposizioni che concentrano il P&L;
- metriche lorde e nette con lo stesso benchmark;
- distribuzione degli errori e stabilità della selezione;
- turnover, capacità e frequenza di ricalibrazione;
- tutte le configurazioni considerate nel processo.
La varianza tra fold può essere informativa anche quando la media è positiva. Un risultato dominato da una sola origine o da una sola crisi richiede una conclusione più limitata.
Checklist
- Ricostruire il diagramma temporale completo prima di calcolare metriche.
- Allineare finestre e passo all'uso reale e all'orizzonte informativo.
- Eseguire preprocessing, feature selection e tuning dentro ogni training.
- Applicare gap o purging solo quando motivati dalla struttura degli intervalli.
- Contare ogni riutilizzo dei fold come informazione di sviluppo.
- Conservare, se possibile, un test finale o una fase prospettica separata.
- Riportare dipendenza, dispersione e concentrazione dei risultati.
Fonti
- Leonard J. Tashman, Out-of-sample tests of forecasting accuracy: an analysis and review — tassonomia e motivazione delle valutazioni rolling-origin fuori campione.
- Christoph Bergmeir, Rob J. Hyndman e Bonsoo Koo, A note on the validity of cross-validation for evaluating autoregressive time series prediction — condizioni precise sotto cui il k-fold può essere valido per modelli autoregressivi.
- Jeffrey S. Racine, Consistent cross-validatory model-selection for dependent data: hv-block cross-validation — proposta di separazione a blocchi per dati dipendenti, da usare con le assunzioni e le successive discussioni metodologiche.
- Marcos López de Prado, Advances in Financial Machine Learning — indice ufficiale Wiley — riferimento autoriale per purging ed embargo; non è presentato come consenso universale o paper originario peer-reviewed.