Qué significan las pruebas prospectivas (en términos sencillos)
Las pruebas prospectivas son una forma de evaluar un enfoque de trading utilizando datos posteriores a los utilizados para construirlo o realizar pruebas retrospectivas. El propósito es ver si la misma idea sigue comportándose de manera razonable cuando las condiciones difieren del período histórico con el que comenzó.
En un contexto de principiante, la idea clave es la separación: no se debe reutilizar los mismos datos tanto para “desarrollar el enfoque” como para “verificar si funciona”. Cuando se hace, es más fácil crear accidentalmente una estrategia que coincida con peculiaridades del conjunto de datos original en lugar de un proceso repetible.
Una forma útil de pensarlo: las pruebas retrospectivas exploran y dan forma; las pruebas prospectivas intentan una verificación fuera de muestra. Ninguno de los dos pasos puede probar la rentabilidad, pero juntos proporcionan evidencia más sólida que las pruebas retrospectivas por sí solas.
Cómo funcionan las pruebas prospectivas: entradas, supuestos y procedimiento
Las pruebas prospectivas son tan confiables como los supuestos que se trasladan de las pruebas retrospectivas al período prospectivo. Como mínimo, debe decidir qué datos y qué reglas está evaluando realmente.
- Defina el “experimento” claramente
- ¿Qué reglas exactas generan entradas, salidas y cualquier tamaño de posición?
- ¿Qué marcos de tiempo se utilizan para las señales y la ejecución?
- ¿Las decisiones se toman una vez por barra, de forma continua o con reglas de sincronización específicas?
-
Mantenga los mismos parámetros sin reajustarlos Las pruebas prospectivas están diseñadas para probar el enfoque tal como está. Si sigue ajustando parámetros basándose en los primeros resultados prospectivos, reintroduce el sesgo de selección.
-
Utilice fricciones de mercado realistas en sus supuestos Incluso sin datos en vivo, las pruebas prospectivas deben incorporar supuestos razonables sobre los costos de trading y el comportamiento de ejecución (por ejemplo, spreads, comisiones, deslizamiento y lógica de ejecución de órdenes). Si su entorno de pruebas prospectivas omite estos elementos que ocurrirían en la práctica, los resultados pueden ser engañosos.
-
Documente la medición Elija métricas que reflejen tanto el rendimiento como la estabilidad (por ejemplo, el comportamiento de la reducción, la variabilidad de los resultados y cómo cambia el rendimiento en múltiples segmentos prospectivos). Especifique cómo las calcula para que otros puedan replicar su método de evaluación.
Situaciones realistas a tener en cuenta: podría ejecutar pruebas prospectivas en varias ventanas de tiempo posteriores (o utilizar un enfoque continuo) para ver si el rendimiento depende en gran medida de un régimen de mercado estrecho.
Evidencia y ejemplo (con supuestos explícitos)
Considere un flujo de trabajo simplificado que pueda describir y reproducir:
- Supuesto A: Desarrolló un conjunto de reglas utilizando datos históricos del Período 1.
- Supuesto B: No modificó los parámetros después de pasar a la ventana prospectiva.
- Supuesto C: Aplica supuestos de costos de transacción fijos (por ejemplo, un costo constante por operación) y un modelo de ejecución consistente.
Ahora evalúa el mismo conjunto de reglas en el Período 2 (la ventana prospectiva) y registra las métricas elegidas. La evidencia que busca no son “altas ganancias”, sino si los resultados son dramáticamente diferentes de lo que observó anteriormente.
Una señal material de robustez débil es cuando los resultados parecen aceptables en el Período 1 pero se vuelven consistentemente pobres en el Período 2 bajo los mismos supuestos. Otra señal es cuando los resultados fluctúan enormemente al cambiar ligeramente la ventana prospectiva, lo que indica sensibilidad a las condiciones en lugar de un proceso estable.
Limitaciones y modos de fallo (por qué los resultados pueden decepcionar)
Las pruebas prospectivas reducen algunos riesgos—especialmente el sobreajuste—pero introducen sus propias limitaciones.
-
Cambios en el régimen de mercado Las relaciones que existían en el período de desarrollo pueden no mantenerse más adelante. Las pruebas prospectivas aún pueden fallar si el nuevo período representa un régimen donde el enfoque inherentemente se desempeña de manera diferente.
-
Sesgo oculto por “desajuste de supuestos” Si sus supuestos de costos o ejecución difieren de las condiciones reales de trading, los resultados de las pruebas prospectivas pueden ser sistemáticamente inexactos. Esto puede suceder incluso cuando las reglas de la estrategia no cambian.
-
Problemas de calidad de datos y supervivencia Errores en los datos, valores faltantes o cambios en los feeds de datos pueden distorsionar los resultados. En tales casos, las pruebas prospectivas miden el entorno de datos más que la ventaja de la estrategia.
-
Efectos de muestra pequeña Si la ventana prospectiva incluye muy pocas operaciones, el rendimiento medido puede estar dominado por la aleatoriedad. Dos ventanas prospectivas diferentes pueden ser ambas válidas pero mostrar resultados muy diferentes.
-
Reoptimización accidental Si elige la ventana prospectiva, las métricas o los parámetros después de ver los resultados, la evaluación puede volverse sesgada. El período prospectivo debe tratarse como un conjunto de prueba bloqueado.
DOCUMENT END