Out-of-sample

Test sobre datos nunca usados en desarrollo — prueba de que el edge no es memorización del pasado.

En esta página

A quién sirve — A quien optimiza hasta Profit Factor 3,0 en el mismo histórico. Out-of-sample (OOS) es el examen ciego — pasas o descartas el sistema.

Out-of-sample (OOS) = porción de datos blindada durante el desarrollo de reglas, testada una sola vez con sistema congelado. Complementa backtest in-sample y forward test live.

En palabras sencillas — Ejercicios del libro, examen con preguntas nunca vistas.

OUT OF SAMPLE (L'ISOLAMENTO STATISTICO) 70% DEI DATI (IL LABORATORIO) Qui costruisci, ottimizzi e modifichi le regole. 30% (IL TEST) Qui NON PUOI toccare nulla. Nascondi in cassaforte l'ultimo 30% del tuo storico. Solo se il sistema performa bene sui dati nascosti, hai trovato un vero Edge.
Develop in-sample → sello → test OOS. Pasa el cursor.

Protocolo

Paso Acción
1. Split Ej. 70 % IS / 30 % OOS (temporal)
2. Develop Reglas solo en IS
3. Sello Cero tweak post-OOS peek
4. Test OOS Run una tantum
5. Verdict Pass → forward; fail → discard o restart

Si OOS falla, no re-optimizar en el mismo OOS — datos «sucios».


Criterios pass

  • Expectancy OOS > 0 (con costes punitivos)
  • Degradación vs IS tolerable (ej. PF −20 %, no colapso)
  • Sample size OOS suficiente

Error típico — «Ajusto un filtro y reintento OOS» — peeking bias, validación falsa.

Ejemplo — 2015–2022 IS, 2023–2025 OOS; reglas congeladas ene 2023; OOS +0,35R expectancy → go live reducido.

Ficha resumen

  • Regla: OOS = una oportunidad.
  • Split: temporal, no random en series.
  • Fail: overfitting probable.

Recorrido Plata — Módulo validación. Índice: Recorrido Plata.


Enlaces