Respuesta directa: qué son las pruebas prospectivas
Las pruebas prospectivas son un método de evaluación en el que se toman reglas de trading definidas previamente (por ejemplo, después del backtesting) y se prueban con información posterior que no se utilizó para crear o ajustar dichas reglas. En la práctica, “posterior” a menudo significa un nuevo período de tiempo después del utilizado para el desarrollo, o un conjunto de datos que se mantiene completamente separado.
La idea clave es simple: las pruebas prospectivas intentan imitar lo que sucedería si las reglas se encontraran con condiciones reales fuera de la muestra histórica utilizada para diseñarlas. Se utilizan en forex y otros mercados para evaluar si una estrategia es robusta, en lugar de estar estrechamente ajustada a un período pasado específico.
Cómo funcionan las pruebas prospectivas
Las pruebas prospectivas generalmente se basan en un conjunto de reglas fijo y una separación estricta entre desarrollo y evaluación.
1) Comience con una definición completa de reglas
Una prueba prospectiva necesita suficiente detalle para ser reproducible sin “ajustes sobre la marcha”. Esto comúnmente incluye la lógica de entrada y salida, los supuestos de tamaño de posición (incluso si son simplificados), los controles de riesgo si los hay, y los supuestos de la sesión de trading (por ejemplo, si permite operaciones en todo momento o solo durante ciertas horas).
“Reglas fijas” es importante porque cualquier cambio realizado después de ver los primeros resultados puede desdibujar la línea entre evaluación y optimización.
2) Mantenga el período de evaluación separado
Los datos de evaluación no deben tocarse durante la etapa de construcción de reglas. La separación puede basarse en el tiempo (un rango de fechas posterior) o en el conjunto de datos (una porción de datos separada). En cualquier caso, el objetivo es evitar la fuga del conjunto de evaluación al proceso de desarrollo.
Incluso con una división correcta, los resultados pueden ser engañosos si la etapa de desarrollo influyó accidentalmente en el diseño de la prueba (por ejemplo, eligiendo indicadores, umbrales o filtros después de observar patrones en lo que debería haber sido el período de evaluación).
3) Aplique las reglas y registre los resultados
Durante las pruebas prospectivas, ejecuta las reglas contra los datos de evaluación utilizando los mismos supuestos que se usaron al definir las reglas. Los resultados se miden con las métricas de rendimiento que sean relevantes para el conjunto de reglas y el alcance de la prueba (por ejemplo, consistencia a lo largo del tiempo, comportamiento de reducción y estabilidad de los resultados, en lugar de solo una cifra principal).
Los detalles de ejecución importan. Si la prueba utiliza ejecuciones simplificadas (por ejemplo, asumiendo ejecuciones perfectas o ignorando los costos de transacción), puede exagerar el realismo. Si la prueba incluye fricciones más realistas (como supuestos de spreads y comisiones), aún puede ser incierta porque la ejecución real puede diferir.
4) Interprete los resultados como evidencia, no como prueba
Una prueba prospectiva es una verificación de robustez, no una garantía. Incluso si el período de prueba funciona bien, sigue siendo solo una muestra de las condiciones del mercado. Si funciona mal, puede indicar que las reglas son frágiles, o puede reflejar que el período de evaluación fue inusualmente difícil en relación con el período de desarrollo.
Limitaciones y riesgos relevantes
Las pruebas prospectivas reducen algunos problemas comunes (notablemente el sobreajuste), pero no eliminan la incertidumbre.
Tamaño de muestra limitado y condiciones de mercado cambiantes
Las condiciones del forex pueden cambiar con el tiempo debido a eventos macro, cambios en el régimen de volatilidad, diferencias de liquidez y cambios en los spreads típicos. Una prueba prospectiva cubre solo una porción de tiempo, por lo que el resultado puede reflejar ese régimen específico.
Debido a esto, las pruebas prospectivas no pueden proporcionar certeza sobre el rendimiento futuro; solo pueden proporcionar una estimación mejor informada que el backtesting por sí solo.
Sesgo a través del “ajuste oculto”
Incluso si el conjunto de evaluación está inicialmente separado, el sesgo puede aparecer cuando se ejecutan repetidamente variantes de una estrategia y luego se promueve la versión que se ve mejor en la ventana de prueba prospectiva. Esto a veces se describe como pruebas repetidas con muchas oportunidades.
Otro riesgo común es hacer ajustes discrecionales después de ver el comportamiento inicial. Si las reglas cambian debido a los resultados observados en el período de prueba, la prueba deja de ser una evaluación limpia.
Brechas en el realismo de la ejecución
Las pruebas prospectivas a menudo se basan en supuestos para la ejecución y las restricciones de trading. Si esos supuestos son simplificados, los resultados pueden ser optimistas. Si son demasiado conservadores, los resultados pueden parecer peores de lo que podría ser alcanzable.
Además, las pruebas en “papel” o la simulación pueden no capturar completamente factores operativos como el manejo de órdenes, el comportamiento del deslizamiento y el impacto de los spreads en el momento en que se activan las decisiones. El grado de desajuste varía según la implementación.
La selección de métricas puede distorsionar las conclusiones
Elegir métricas de rendimiento después de ver los resultados puede cambiar lo que significa “éxito”. Por ejemplo, centrarse solo en una métrica puede ocultar un comportamiento inestable o un rendimiento desigual en subperíodos.
Interpretar múltiples señales consistentes sobre la estabilidad a menudo es más informativo que confiar en un solo número resumen.
Pruebas prospectivas vs evaluaciones relacionadas (comparación rápida)
Las pruebas prospectivas se contrastan comúnmente con el backtesting.
- El backtesting evalúa reglas con datos pasados, lo que puede fomentar el sobreajuste si el bucle de desarrollo no está controlado.
- Las pruebas prospectivas evalúan las reglas ya definidas con datos posteriores no vistos para comprobar si el ajuste aparente del backtesting se generaliza.
Más generalmente, cualquier evaluación que utilice información futura en relación con la definición de reglas (y la mantenga separada) se alinea con el mismo principio subyacente: reducir el sobreajuste probando fuera de la muestra de desarrollo.
Comprobaciones prácticas para la verificación independiente (no asesoramiento)
Para que los resultados sean más verificables de forma independiente, una prueba prospectiva generalmente necesita transparencia sobre la definición de reglas, la división exacta entre desarrollo y evaluación, y los supuestos utilizados para la ejecución.
Los elementos comunes que puede revisar de forma independiente incluyen:
- Si el período de evaluación estuvo verdaderamente excluido de la creación y el ajuste de reglas.
- Si las reglas se mantuvieron sin cambios durante la evaluación.
- Qué supuestos se utilizaron para los costos de trading y las ejecuciones (si los hay).
- Cómo se resumen los resultados a lo largo del tiempo, no solo como un número.
Cuándo los hallazgos de las pruebas prospectivas son más informativos
Las pruebas prospectivas son más informativas cuando se tratan como una comparación controlada entre las mismas reglas fijas bajo una separación claramente definida de tiempo o datos. También son más informativas cuando la prueba evita la selección repetida de las mejores variantes entre muchas opciones.
Debido a que sigue siendo una muestra de las condiciones del mercado, las conclusiones sólidas deben expresarse con cautela: las pruebas prospectivas pueden aumentar la confianza en relación con el backtesting, pero no pueden eliminar la incertidumbre inherente de los mercados en vivo.