Definir las pruebas de algoritmos
Las pruebas de algoritmos son el proceso de evaluar un sistema de trading o de toma de decisiones basado en reglas utilizando datos previos (como registros históricos de precios) y/o escenarios controlados. El objetivo es medir cómo se comportó el sistema bajo condiciones específicas. “Probar” normalmente produce métricas (por ejemplo, rendimientos, reducciones o conteos de ganancias/pérdidas), pero esas métricas siempre dependen de lo que se haya asumido: calidad de los datos, reglas de trading, supuestos de ejecución de órdenes y cómo se manejó la incertidumbre.
Una limitación clave es que las pruebas de algoritmos no recrean la realidad a la perfección. Es un método analítico con supuestos, no una garantía en vivo del rendimiento futuro.
Cómo funciona en la práctica (y por qué es importante)
La mayoría de las pruebas de algoritmos comienzan con un objetivo y un conjunto de entradas. Luego se definen:
- Datos: qué datos de mercado se utilizan, el período de tiempo y cómo se limpian.
- Lógica de la estrategia: las reglas exactas que deciden cuándo actuar.
- Modelo de simulación: cómo se ejecutan las órdenes, incluidos los supuestos sobre spreads, deslizamiento y latencia.
- Costos y restricciones: comisiones, tarifas y cualquier límite (como si las órdenes pueden colocarse en el momento en que aparece una señal).
- Método de evaluación: cómo se miden los resultados y si se reutilizan los mismos datos para el ajuste.
Incluso si cada paso se realiza con cuidado, todavía se está probando una asignación de entradas a decisiones bajo una simulación específica. Si cualquier parte de esa asignación difiere de lo que ocurre en condiciones reales de trading, la prueba puede volverse engañosa.
Limitaciones y modos de fallo esperados
1) Las relaciones históricas pueden no persistir
Un modo de fallo común es asumir que los patrones observados en datos históricos permanecen estables. Los mercados pueden cambiar debido a nuevas condiciones de liquidez, regímenes de volatilidad cambiantes, comportamiento diferente de los participantes y una microestructura en evolución. Cuando estos impulsores cambian, la relación probada puede debilitarse o desaparecer.
2) Los supuestos de ejecución y costos pueden dominar los resultados
Las pruebas a menudo se basan en supuestos de ejecución simplificados. En el trading real, las ejecuciones dependen de la dinámica del libro de órdenes, la liquidez disponible y el momento. Pequeñas diferencias en los spreads o deslizamientos asumidos pueden alterar significativamente los resultados, especialmente para estrategias que operan con frecuencia o mantienen posiciones por poco tiempo.
3) Sobreajuste y efectos de mirar hacia adelante
Cuando un algoritmo se ajusta demasiado a datos pasados, puede ajustarse al ruido en lugar de a la señal. Otro riesgo es la inclusión accidental de información que no habría estado disponible en el momento de la decisión (a veces llamado mirar hacia adelante). Ambos problemas pueden producir resultados de prueba sólidos que no se generalizan.
4) Dependencia del régimen y sesgo de supervivencia
Si el conjunto de datos contiene solo períodos en los que el mercado o los instrumentos se comportaron de una manera particular, la prueba puede sobreponderar esas condiciones. Los problemas relacionados incluyen el sesgo de supervivencia (cuando el universo de evaluación difiere del que existía en ese momento) y la dependencia del régimen (el rendimiento varía según los entornos de mercado).
Lo que se puede verificar (y lo que aún no se puede)
Se puede verificar de forma independiente si la prueba es internamente consistente: las reglas deben ser explícitas, el manejo de datos debe ser reproducible y el diseño de la evaluación debe reducir la reutilización del mismo conjunto de datos tanto para el desarrollo como para la evaluación. También se puede probar la sensibilidad a cambios razonables en los supuestos (por ejemplo, diferentes niveles de costos o retrasos en la ejecución).
Sin embargo, las pruebas de algoritmos no pueden eliminar por completo la incertidumbre. Incluso los sistemas bien validados operan bajo condiciones cambiantes, y no se garantiza que el comportamiento futuro del mercado coincida con los patrones históricos. Por esa razón, los “buenos resultados de prueba” deben interpretarse como evidencia sobre los supuestos específicos utilizados, no como prueba de un rendimiento futuro confiable.
Siguiente pregunta a plantear
Si se está evaluando una afirmación sobre pruebas, pregunte qué supuestos se utilizaron para la ejecución y los costos, cómo la evaluación evitó el sobreajuste y si los resultados se verificaron en diferentes regímenes de mercado.