Pruebas fuera de muestra vs. conceptos relacionados en forex

Respuesta directa

Las pruebas fuera de muestra (a menudo abreviadas como pruebas OOS) son un paso de evaluación diseñado para medir qué tan bien funciona un conjunto de reglas o parámetros ajustados con datos que no se utilizaron para construirlos o afinarlos. Se diferencian de los conceptos relacionados de evaluación en forex—especialmente el backtesting y el forward testing—porque esos conceptos varían en cuándo y qué datos se utilizan para el ajuste frente a la evaluación del rendimiento.

Una forma útil de pensar en la diferencia es separar dos fases:

1. Formación del modelo/parámetros (elegir reglas y parámetros), y
2. Evaluación del rendimiento (medir resultados).

Las pruebas OOS mantienen estas fases distintas al usar datos “nuevos” para la evaluación, lo cual es el mecanismo principal que reduce (pero no elimina) los resultados optimistas causados por el sobreajuste.

Mecánica: qué hace cada concepto con los datos

Pruebas fuera de muestra (OOS)

Las pruebas fuera de muestra son la práctica de evaluar una lógica de negociación candidata (reglas, configuraciones de indicadores, umbrales, límites de riesgo y elecciones similares) en un conjunto de datos que se reservó del período utilizado para construir esas elecciones.

En una configuración educativa estándar, se asume:

• Se tiene una serie de precios histórica.
• Se divide en al menos dos partes: una parte de “desarrollo” (dentro de la muestra) y una parte de “evaluación” (fuera de la muestra).
• Se forma o ajusta el enfoque usando solo la parte de desarrollo.
• Se reportan las métricas de rendimiento usando solo la parte OOS.

El objetivo no es predecir el futuro directamente. En cambio, es probar si los resultados aparentes del enfoque en el período de desarrollo se mantienen con datos que no vio.

Backtesting

El backtesting es el concepto más amplio de simular cómo habrían funcionado las reglas con datos históricos. En su forma más simple, el backtesting responde: “Si estas reglas se hubieran aplicado al pasado, ¿cuáles habrían sido los resultados simulados?”

El backtesting se puede realizar de muchas maneras, incluidos enfoques donde se usan los mismos datos tanto para ajustar como para evaluar. Cuando eso sucede, el rendimiento puede parecer mejor de lo que sería con datos verdaderamente no vistos, porque la simulación puede reflejar elecciones que accidentalmente coinciden con el ruido.

Entonces, la diferencia clave frente a OOS no es que el backtesting sea “incorrecto”, sino que el backtesting por sí solo no garantiza una separación estricta entre formación y evaluación.

Forward testing

El forward testing (a veces descrito como “paper trading” o “ejecución con datos posteriores”) evalúa un enfoque en períodos de tiempo posteriores al período de desarrollo.

Conceptualmente, enfatiza la temporalidad: se deja que el sistema “corra” hacia períodos que no estaban disponibles durante el desarrollo. Eso lo acerca más al uso en tiempo real que una sola división histórica.

Sin embargo, el forward testing aún depende de supuestos. Incluso si se respeta el orden temporal, los resultados pueden variar según:

• cómo se modelan los costos de transacción,
• si la ejecución se simula de manera realista,
• y si las condiciones del mercado cambian.

Comparación acotada: cómo difieren los criterios

A continuación se presenta una comparación acotada utilizando criterios de verificación comunes. Para cada criterio, el “propietario canónico” es el concepto cuya definición aborda más directamente ese criterio.

1) Separación de datos entre desarrollo y evaluación

• Pruebas OOS (propietario canónico: OOS): requieren explícitamente datos de evaluación reservados.
• Backtesting (propietario canónico: concepto de backtesting): puede o no separar el desarrollo de la evaluación.
• Forward testing (propietario canónico: forward testing): evalúa en períodos posteriores, típicamente después del desarrollo, pero no asegura automáticamente una separación perfecta de todas las decisiones de ajuste.

2) Propósito principal

• Pruebas OOS: evaluar la generalización a nuevos datos históricos.
• Backtesting: simular el comportamiento histórico de un conjunto de reglas.
• Forward testing: evaluar el comportamiento a medida que el tiempo avanza hacia datos posteriores.

3) Riesgo de resultados optimistas

• Pruebas OOS: reducen el sesgo optimista cuando se realizan con una división clara, pero aún pueden sufrir de comparaciones múltiples, reajustes repetidos o fugas mediante el preprocesamiento.
• Backtesting: puede ser altamente optimista si el mismo conjunto de datos impulsa tanto el diseño como la evaluación.
• Forward testing: aún puede ser optimista si el método se revisa repetidamente usando los resultados del forward testing, o si los supuestos de ejecución no son realistas.

4) Modos de fallo típicos

• Modos de fallo de las pruebas OOS: fuga de datos (uso indirecto de información futura), sobreajuste al segmento OOS específico y selección de parámetros repetida en muchos experimentos.
• Modos de fallo del backtesting: sesgo dentro de la muestra porque la evaluación se superpone al proceso de ajuste.
• Modos de fallo del forward testing: cambio de régimen después del desarrollo y desajuste entre la ejecución simulada y la ejecución real.

Evidencia o ejemplo (con supuestos explícitos)

Considere un ejemplo educativo simple con supuestos declarados de antemano.

Suponga que comienza con una regla que usa un parámetro: la longitud de la ventana de retroceso. Tiene 10 años de datos de precios semanales.

• Período de desarrollo: años 1–7
• Período de evaluación: años 8–10

Paso A (formación): Prueba múltiples longitudes de ventana y elige la que tenga el mejor rendimiento durante los años 1–7.

Paso B (prueba OOS): Mantiene fija la longitud de ventana elegida y evalúa el rendimiento en los años 8–10.

En esta configuración:

• Si los resultados mejoran drásticamente en los años 8–10, eso sugiere que la regla puede generalizarse más allá del período de desarrollo.
• Si los resultados colapsan en el segmento OOS, eso indica que el éxito del período de desarrollo puede haber sido específico de esos datos anteriores.

Ahora compare con un escenario de backtesting puro donde evalúa y también selecciona parámetros usando los 10 años a la vez. Incluso si la simulación muestra resultados sólidos, no se pueden atribuir a la generalización porque el período de evaluación se usó indirectamente para dar forma a los parámetros.

Finalmente, compare con el forward testing: suponga que desarrolla el método en los años 1–7 y luego lo ejecuta durante los años 8–10 de una manera que se asemeja a la progresión temporal. Puede revelar problemas como supuestos de ejecución práctica, pero aún no puede garantizar el rendimiento futuro, porque los mercados pueden cambiar y porque los costos de transacción y las ejecuciones pueden diferir de los modelos simplificados.

Limitaciones y riesgos (qué puede salir mal)

Incluso con las pruebas OOS, existen limitaciones materiales y modos de fallo relevantes para la evaluación en forex.

1. Sobreajuste a pesar de OOS Si ajusta repetidamente los parámetros basándose en los resultados OOS, el segmento OOS efectivamente se convierte en parte del proceso de decisión. Eso puede reintroducir el optimismo.

2. Fuga de datos Si el preprocesamiento utiliza información que no habría estado disponible en el momento de la evaluación (por ejemplo, normalización calculada con valores futuros), los resultados OOS pueden ser engañosos.

3. No estacionariedad y cambio de régimen Los mercados de forex pueden cambiar su comportamiento con el tiempo. Un método que funciona en un régimen puede no funcionar en otro, por lo que el rendimiento OOS no es una garantía de robustez.

4. Desajuste de costos y ejecución Las simulaciones de backtesting y forward testing a menudo simplifican la ejecución de las operaciones. Las diferencias en costos de transacción, spreads, deslizamiento y manejo de órdenes pueden cambiar los resultados de manera significativa.