A chi serve — A chi confronta molte strategie, mercati, feature o parametri e rischia di attribuire abilità al vincitore prodotto dal caso.
Il data snooping si verifica quando lo stesso insieme di dati viene usato ripetutamente per esplorare, selezionare e valutare regole, mentre l'inferenza finale ignora il processo di ricerca. Il problema dei test multipli è la conseguenza statistica: aumentando il numero di ipotesi provate, cresce la probabilità che almeno una appaia convincente per fortuna.
Non è necessario alterare consapevolmente i risultati. Provare dieci finestre, cinque filtri, più universi, costi e date di inizio crea una famiglia di candidati. Pubblicare soltanto la combinazione con il miglior Sharpe la tratta come se fosse stata scelta prima di osservare i dati. L'incertezza così calcolata è troppo piccola.
Overfitting e data snooping non sono identici
| Problema | Unità principale | Esempio |
|---|---|---|
| Overfitting del modello | una configurazione troppo adattata al campione | molte regole catturano rumore locale |
| Data snooping | processo di ricerca ripetuto sugli stessi dati | si scelgono ex post mercato, finestra e metrica migliori |
| Multiple testing | famiglia di ipotesi confrontate | almeno un risultato supera la soglia per caso |
| Publication bias | risultati che diventano visibili | vengono pubblicati soprattutto successi |
| Researcher degrees of freedom | scelte analitiche flessibili | esclusioni, trasformazioni e benchmark cambiano dopo l'esito |
Un modello semplice può essere selezionato tramite data snooping; un modello complesso può overfittare anche in un singolo percorso di stima. Spesso i due problemi si sommano.
Perché il numero di tentativi conta
Supponiamo, come puro esempio didattico, che ogni test abbia probabilità
α di superare una soglia sotto l'ipotesi nulla e che i test siano
indipendenti. La probabilità che almeno uno tra m test la superi è:
1 − (1 − α)ᵐNella ricerca reale i candidati sono spesso correlati, quindi questa formula non descrive esattamente il problema. Mostra però perché valutare il vincitore come unico test è scorretto. Correlazione tra strategie non rende irrilevante la selezione; cambia la distribuzione del massimo e richiede metodi coerenti.
I “tentativi” comprendono anche decisioni informali: guardare il grafico e cambiare data iniziale, eliminare un mercato, trasformare una feature o scegliere la metrica dopo il risultato. Se tali scelte non sono registrate, nessuna correzione può ricostruirne perfettamente il numero.
Registro degli esperimenti
Un registro utile conserva per ogni prova:
- identificativo e timestamp;
- ipotesi e motivazione;
- versione di codice, dati e configurazione;
- universo, periodo, benchmark e costi;
- feature, parametri e vincoli;
- metriche previste prima del test;
- risultato completo, anche se negativo;
- decisione presa e ragione;
- relazione con prove precedenti.
Il registro non elimina il data snooping. Rende però misurabile lo spazio di ricerca e impedisce che i fallimenti svaniscano. Raggruppare varianti quasi identiche può essere necessario per alcuni metodi, ma la regola di raggruppamento deve essere dichiarata e non scelta per migliorare il risultato corretto.
Strumenti statistici: problema e scopo
| Strumento | Domanda affrontata | Non dimostra |
|---|---|---|
| Reality Check di White | il migliore tra molti modelli supera un benchmark tenendo conto della ricerca? | che il modello resterà stabile o investibile |
| SPA di Hansen | esiste capacità predittiva superiore con maggiore potenza in certi contesti? | assenza di leakage o costi realistici |
| Correzioni FWER / stepwise | come controllare la probabilità di almeno un falso rifiuto? | equivalenza economica dei candidati |
| False discovery rate | quale quota attesa di scoperte false si tollera in una famiglia? | validità causale del meccanismo |
| Deflated Sharpe Ratio | lo Sharpe osservato resta eccezionale considerando selezione e non-normalità? | un track record reale o una garanzia futura |
| Probability of Backtest Overfitting | quanto spesso la selezione in-sample può degradare fuori campione nel disegno scelto? | correttezza dei dati o universalità della stima |
Ogni strumento richiede input e assunzioni. Applicare una formula dopo aver nascosto metà dei tentativi produce precisione apparente, non inferenza onesta.
Un out-of-sample può essere consumato
Il primo test su un segmento può essere fuori dal campione di sviluppo. Se il risultato induce a cambiare la strategia e a rieseguire lo stesso segmento, quel periodo è entrato nel ciclo di selezione. Il problema non si risolve cambiando l'etichetta in “validation” dopo molte iterazioni: occorre dichiarare la storia e conservare nuova informazione per una valutazione successiva.
Anche un confronto pubblico può trasferire informazione. Scegliere una strategia perché molte pubblicazioni mostrano che ha funzionato sugli stessi dati storici riduce l'indipendenza di un nuovo backtest su quel periodo. Non rende inutile la ricerca, ma limita la forza della conferma.
Esempio illustrativo
Un ricercatore prova 200 varianti di un segnale e seleziona quella con Sharpe più alto. Poi riporta intervallo e p-value come se quella variante fosse stata unica. L'errore non è aver esplorato: l'esplorazione può generare idee. L'errore è usare l'inferenza di un test pre-specificato per un vincitore selezionato.
Un processo più trasparente registra le 200 varianti, separa esplorazione e conferma, confronta una baseline, applica un metodo adatto alla famiglia di prove e conserva dati non usati o una valutazione prospettica. Il numero 200 è illustrativo; la materialità dipende dalla dipendenza tra candidati e dal disegno.
Protocollo di riduzione del rischio
- Pre-specificare ipotesi, metriche primarie, benchmark e criterio decisionale.
- Conservare ogni prova e ogni modifica informata dai dati.
- Separare ambiente esplorativo, selezione e conferma.
- Usare baseline semplici per misurare il valore incrementale.
- Correggere l'inferenza per la famiglia di confronti quando appropriato.
- Verificare sensibilità senza scegliere ex post soltanto gli stress superati.
- Presentare distribuzione dei candidati, non solo il massimo.
- Limitare la conclusione a campione, assunzioni e uso realmente esaminati.
Semplicità e plateau dei parametri sono segnali diagnostici utili, non prove di assenza di snooping. Un'intera regione può apparire stabile perché tutti i parametri sfruttano lo stesso bias nei dati.
Fonti
- Halbert White, A Reality Check for Data Snooping — test del miglior modello quando la specifica è scelta mediante ricerca sui dati.
- Ryan Sullivan, Allan Timmermann e Halbert White, Data-Snooping, Technical Trading Rule Performance, and the Bootstrap — applicazione del problema a un ampio universo di regole tecniche.
- Campbell R. Harvey, Yan Liu e Heqing Zhu, …and the Cross-Section of Expected Returns — implicazioni dei test multipli nella ricerca sui rendimenti attesi.
- Joseph P. Romano e Michael Wolf, Stepwise Multiple Testing as Formalized Data Snooping — procedure stepwise per inferenza multipla dipendente.
- David H. Bailey e Marcos López de Prado, The Deflated Sharpe Ratio — aggiustamento dello Sharpe per selezione e caratteristiche non normali dei rendimenti.