Qué significa “backtesting responsable” para un indicador de momentum
El backtesting estima cómo se habría comportado una regla basada en el indicador de momentum utilizando datos históricos. El backtesting responsable se centra menos en los números finales y más en si la configuración de la prueba podría haberse ejecutado con la información que realmente estaba disponible en ese momento.
Como mínimo, deberías poder explicar:
- qué datos utilizó el indicador y cómo se calcularon,
- qué regla convirtió las lecturas del indicador en una acción (si la hubo),
- qué supuestos se hicieron sobre los costos y la ejecución,
- qué partes son mecánica estable del indicador frente a condiciones variables del mercado y del proveedor de datos.
El rendimiento histórico nunca puede probar resultados futuros, porque las relaciones pueden cambiar y porque los backtesting son sensibles a la calidad de los datos, los costos y el sesgo metodológico.
Mecanismo y definiciones: separa las matemáticas del indicador de los supuestos de la prueba
El indicador de momentum es típicamente un concepto de “cambio durante un período de retroceso”: compara un precio con su valor de un número fijo de períodos atrás. La fórmula exacta puede diferir según la plataforma (por ejemplo, comparar el cierre actual con el cierre de N períodos atrás, o usar una variante de tasa de cambio), por lo que la primera responsabilidad es fijar la definición.
Un backtesting responsable comienza con definiciones fijas:
- Serie de precios utilizada (por ejemplo, cierre a cierre).
- Longitud del período de retroceso (el número de períodos).
- Detalle del cálculo (diferencia vs. cambio porcentual; suavizado si se utiliza).
- Regla de sincronización (cuándo se conoce el valor calculado y cuándo se toma una decisión).
Luego separa la mecánica de las condiciones variables:
- Mecánica estable: cálculo del indicador y cualquier regla de selección puramente mecánica que apliques.
- Condiciones variables: construcción de velas, barras faltantes, manejo de zonas horarias, rollovers, liquidez, comportamiento del spread bid/ask y cómo se modela la ejecución.
Tipos de costos y fricciones de ejecución a modelar
Los backtesting a menudo exageran los resultados porque ignoran los costos. Incluso en verificaciones educativas (sin recomendar ninguna acción), puedes modelar los costos de una manera consistente con los datos:
- Spread o costo de transacción efectivo por operación (cómo conviertes las diferencias bid/ask en un costo neto único).
- Comisión o tarifa por orden.
- Deslizamiento: la brecha entre el precio de ejecución supuesto y una ejecución alcanzable.
- Sincronización de la orden: si las ejecuciones son en la apertura de la siguiente vela, en el cierre de la misma vela, o en otro lugar.
Para cada entrada de costo, establece los supuestos explícitamente. Si no puedes justificar los números, trata la prueba como un estudio de sensibilidad en lugar de una afirmación de rendimiento.
Controles de sesgo: previene el look-ahead, el sobreajuste y la selección selectiva de datos
Un modo de fallo común es que el backtesting use inadvertidamente información futura o ajuste los parámetros a un período hasta que “encaje”. El backtesting responsable utiliza verificaciones que hacen más difícil ocultar el sobreajuste.
Controles de sesgo principales
- Sin look-ahead: asegúrate de que el valor del indicador y cualquier umbral utilizado para las decisiones fueran calculables en el momento de la decisión.
- Pruebas walk-forward (fuera de muestra): ajusta o elige parámetros en un segmento y luego evalúa en segmentos posteriores no vistos.
- Múltiples verificaciones de robustez: varía los supuestos no esenciales (como el nivel de costos dentro de un rango plausible) para ver si las conclusiones sobreviven.
Ejemplo de modo de fallo a buscar
Si tu regla basada en el indicador funciona bien solo para un conjunto estrecho de valores de parámetros, puede estar capturando ruido del período de entrenamiento. Otro modo de fallo es un patrón de resultados que desaparece cuando cambias la construcción del precio (o cuando vuelves a muestrear a un tamaño de vela diferente), lo que sugiere que el backtesting depende demasiado de los datos.
Limitaciones y riesgos que debes declarar antes de interpretar los resultados
Al menos una limitación material debe ser parte de tu informe de backtesting:
- Cambio de régimen de mercado: las relaciones que aparecen en un período pueden debilitarse más tarde.
- Diferencias en la calidad de los datos: las velas históricas pueden no replicar la liquidez y el comportamiento de precios en vivo.
- Desajuste de ejecución: el modelo de ejecución supuesto (apertura siguiente, cierre, medio) puede dominar los resultados.
- Inestabilidad de parámetros: los resultados pueden ser sensibles a la longitud del período de retroceso y a las elecciones de umbral.
Una forma útil de expresarlo es: incluso si el backtesting es internamente consistente, no establece que la misma regla se generalizaría.
Verificación y siguientes preguntas para hacer tu verificación independiente
Para verificar de forma independiente los hechos relevantes, concéntrate en la reproducibilidad:
- Recrea el indicador de momentum exactamente como se definió (incluyendo el mismo período de retroceso y la variante de cálculo). - Vuelve a ejecutar el backtesting con el mismo código/tubería de datos y verifica que cada paso coincida con tus supuestos escritos. - Confirma la sincronización: cuándo se calcula el indicador y cuándo se toma una decisión.