Consideraciones avanzadas para las pruebas prospectivas

Qué significan las pruebas prospectivas (y qué no significan)

Las pruebas prospectivas son un paso de validación en el que se aplica una regla o modelo de trading previamente definido a datos que vienen después del período utilizado para construirlo u optimizarlo. El propósito es medir si el método se comporta de manera sensata cuando las condiciones cambian y cuando no se está “ajustando” al mismo período histórico.

No es lo mismo que:

trading en vivo: las pruebas prospectivas pueden utilizar datos grabados o reproducidos.
backtesting con más datos: si se siguen ajustando las reglas durante el período prospectivo, se convierte la validación en entrenamiento adicional.
prueba de rendimiento futuro: las relaciones históricas no establecen resultados futuros.

Dependencias clave que los profesionales avanzados tienen en cuenta

Las pruebas prospectivas son sensibles a los detalles. Las consideraciones avanzadas se centran principalmente en lo que debe mantenerse constante y lo que puede variar legítimamente.

Límites de datos y fuga de información Un modo de fallo común es la fuga accidental de información. Las pruebas prospectivas deben utilizar una separación clara entre:

los datos utilizados para la selección de parámetros y el desarrollo de reglas, y
los datos utilizados para la validación.

Incluso si el algoritmo no se “reentrena” explícitamente, la fuga puede ocurrir indirectamente a través del preprocesamiento, la construcción de características o el sesgo de lookahead (por ejemplo, utilizando valores que no se conocerían en el momento de la decisión).

Supuesto que debe declararse explícitamente: la prueba prospectiva no debe utilizar ninguna característica de entrada calculada con información futura relativa a cada decisión.

Alineación temporal y momento de la decisión Los sistemas de Forex a menudo dependen de cuándo exactamente se asume que los precios y las señales están disponibles. Las pruebas prospectivas avanzadas hacen explícitas las reglas de sincronización:

¿En qué marca de tiempo se conoce la señal?
¿Qué precio se utiliza para la entrada: la apertura de la siguiente vela, el cierre de la misma vela o un valor interpolado?
¿Cómo se manejan los rollovers o los límites de sesión?

Si el backtest y la prueba prospectiva difieren en las convenciones de marcas de tiempo, los resultados se vuelven difíciles de interpretar.

Consistencia del modelo de ejecución (costos y deslizamiento) Las pruebas prospectivas deben reflejar los supuestos de ejecución utilizados en el backtesting. Esto incluye:

modelo de costos de transacción (comisiones y tarifas)
tratamiento del spread (fijo vs. variable, y si el spread se muestrea en el momento de la decisión)
supuestos de deslizamiento (constante, basado en distribución o basado en reglas)

Punto avanzado: si se cambia el modelo de costos entre el backtest y la prueba prospectiva, ya no se está validando el mismo sistema; se está validando uno diferente.

Supuesto para cualquier ejemplo: las reglas de manejo de costos y spread son idénticas entre las fases de desarrollo y prospectiva.

Congelación de parámetros y gobernanza Para evitar “mover los postes de la portería”, las pruebas prospectivas avanzadas generalmente congelan:

parámetros (incluidos umbrales)
definiciones de características
lógica de reglas

Existen excepciones, como corregir un error de datos descubierto, pero esos cambios deben tratarse como una nueva versión y documentarse, porque pueden invalidar la comparabilidad.

Cambio de régimen de mercado y no estacionariedad Los mercados de Forex pueden cambiar de carácter con el tiempo. Por lo tanto, las pruebas prospectivas deben diseñarse para revelar inestabilidad:

¿Dependen los resultados de un régimen estrecho?
¿Se concentran las pérdidas en torno a expansiones de volatilidad o cambios de liquidez?

Este es un problema de interpretabilidad. Un método que funciona en un tipo de entorno pero falla en otro puede seguir siendo “útil” para ciertas condiciones, pero no se debe asumir estabilidad fuera de los regímenes probados.

Evidencia y ejemplos: cómo interpretar los resultados de las pruebas prospectivas

Los resultados de las pruebas prospectivas varían según lo que se mida. La interpretación avanzada se centra en separar la “fuerza de la señal” de los artefactos.

Utilice múltiples métricas, no una sola puntuación Un período prospectivo podría mostrar:

rendimientos positivos con altos drawdowns,
rendimientos bajos pero comportamiento estable,
buen rendimiento antes de costos y rendimiento débil después de costos.

La consideración avanzada es examinar la robustez a través de métricas que capturen diferentes aspectos del comportamiento. Los supuestos sobre costos y ejecución a menudo dominarán los resultados prospectivos, especialmente para períodos de tenencia cortos.

Compare versiones equivalentes Si se desarrollaron varias variantes (por ejemplo, diferentes conjuntos de características), las pruebas prospectivas deben compararlas bajo las mismas condiciones de validación. De lo contrario, se pueden atribuir diferencias al método cuando en realidad se deben a detalles de implementación.

Supuesto que debe declararse explícitamente: cada variante candidata utiliza los mismos datos prospectivos, la misma convención de sincronización de decisiones y el mismo modelo de costos.

Verifique si el rendimiento está impulsado por unos pocos eventos Las ventanas prospectivas pueden ser cortas. Un método puede parecer prometedor si un puñado de operaciones se agrupan en un período favorable. Los profesionales avanzados observan el comportamiento distribucional:

con qué frecuencia el método progresa versus deja de contribuir,
si los resultados son frágiles a pequeños cambios en la longitud de la ventana.

Si se puede reducir o desplazar ligeramente la ventana prospectiva y las conclusiones cambian, eso es evidencia de inestabilidad.

Limitaciones y modos de fallo (consideraciones materiales)

Las pruebas prospectivas reducen algunos riesgos, pero introducen otros. Al menos una limitación importante merece ser tratada como una preocupación predeterminada.

Sensibilidad a los detalles de implementación Pequeñas diferencias en:

manejo de marcas de tiempo,
muestreo del spread,
supuestos de llenado de órdenes,
manejo de datos faltantes,
ajustes corporativos o similares a eventos (si los hay en la fuente de datos), pueden afectar materialmente los resultados. Esto significa que “aprobar” las pruebas prospectivas está condicionado a las elecciones de modelado.

Sobreajuste por iteración Incluso sin entrenar en la ventana prospectiva, se puede sobreajustar revisando repetidamente la regla hasta que la ventana prospectiva se vea bien. Esto a veces se denomina sobreajuste de validación. La mitigación avanzada es tratar la ventana prospectiva como una prueba contra la que no se ajusta.
Ventanas prospectivas cortas y bajo poder estadístico Si el período prospectivo contiene pocas operaciones o exposición limitada, el rendimiento medido puede estar dominado por la aleatoriedad. En ese caso, las pruebas prospectivas se convierten en un indicador de varianza más que en una estimación confiable del comportamiento futuro.
La no estacionariedad hace que el “futuro” sea incierto Las relaciones en Forex pueden cambiar. Los resultados históricos de las pruebas prospectivas solo se aplican a las condiciones del período prospectivo. Esto no es una garantía de lo que sucederá después de la prueba.
Calidad de datos y problemas similares al sesgo de supervivencia Las pruebas prospectivas dependen de la integridad del conjunto de datos. Velas faltantes, marcas de tiempo desalineadas o definiciones de símbolos inconsistentes pueden crear resultados de validación engañosos. Las pruebas prospectivas avanzadas incluyen auditorías de datos antes de confiar en los resultados.

Verificación y comprobaciones independientes que puede realizar

Para permitir la verificación independiente, concéntrese en la repetibilidad.

Documente los supuestos Anote, en lenguaje sencillo:

el momento exacto de la decisión en relación con los datos de precios,
cómo se modelan la entrada, la salida y la ejecución,
las reglas de costos y spread,
cualquier filtro para datos faltantes.

Mantenga la ventana prospectiva aislada Indique claramente la regla de división: qué período es para el desarrollo, qué período es para la validación prospectiva y qué cambios (si los hay) están permitidos.