Defina el concepto antes de probarlo
El “Índice de Paseo Aleatorio” se utiliza generalmente como una medida destinada a describir si el comportamiento del precio se asemeja a un paseo aleatorio (más impredecible) o muestra un movimiento más estructurado (más predecible). Debido a que existen diferentes implementaciones, un backtesting responsable comienza con una definición precisa y comprobable: qué serie de entrada exacta se utiliza (por ejemplo, precio, rendimientos u otra transformación), cómo se calcula el índice (la longitud de la ventana u otros parámetros) y qué significa la escala de salida (por ejemplo, valores más altos corresponden a un comportamiento más “similar a un paseo aleatorio”). Si no puede escribir el cálculo como una fórmula reproducible, no puede realizar un backtesting responsable del mismo.
Mecanismo: separe el cálculo estable de las condiciones variables
Un backtesting responsable separa dos capas:
- Mecánica estable (la definición del índice): tamaños de ventana, pasos matemáticos y cualquier transformación de datos.
- Condiciones variables de mercado/proveedor: spreads, comisiones, deslizamiento, horario de negociación, liquidez, huecos de datos y reglas de ejecución.
Un modo de fallo común es tratar el “rendimiento del índice” como si fuera independiente de la ejecución. Para evitarlo, decida cómo utilizaría hipotéticamente el índice en un marco de evaluación, sin convertirlo en una señal garantizada.
Haga explícitos los supuestos
Para cualquier ejemplo que calcule, indique supuestos como:
- Frecuencia de muestreo (por ejemplo, barras de minutos vs. barras diarias).
- Cómo maneja las marcas de tiempo faltantes o los datos escasos.
- Cómo se modelan los costos (incluso si solo utiliza valores de referencia conservadores).
- Si evalúa sobre el precio medio, bid/ask, o rendimientos alineados con el momento del cálculo del índice.
El índice en sí puede ser estable, pero su evaluación puede cambiar drásticamente con estos supuestos.
Evidencia o ejemplo: diseñe el backtesting para que sea verificable
Un enfoque responsable utiliza comprobaciones que un lector pueda reproducir y cuestionar.
1) Elija el objetivo de evaluación
El backtesting debe especificar qué se mide. Ejemplos de objetivos medibles incluyen:
- Si un valor bajo/alto del índice coincide con una variabilidad realizada menor/mayor en un horizonte futuro.
- Si los rendimientos posteriores muestran propiedades distributivas diferentes condicionadas al estado del índice.
Importante: evalúe relaciones, no predicciones. La asociación histórica no prueba la eficacia futura.
2) Aplique un modelado de costos realista
Incluso si no “opera”, aún necesita reflejar los costos si la evaluación imita decisiones de negociación. Los componentes de costo típicos a tener en cuenta en un modelo de evaluación son:
- Costos de transacción (comisiones, tarifas).
- Efectos del spread (usando bid/ask en lugar de una sola línea de precio).
- Momento de ejecución (cuándo se conoce la decisión vs. cuándo ocurren los precios de la siguiente barra).
- Supuestos de deslizamiento.
Si omite los costos o asume rellenos perfectos, sus resultados pueden ser sistemáticamente optimistas.
3) Evite el sesgo de mirar hacia adelante (look-ahead bias)
Defina exactamente cuándo se calcula el valor del índice en relación con el precio utilizado para el resultado. Un problema común es usar la información de la misma barra para predecir el movimiento de esa barra. Para prevenirlo, aplique una regla como: “el valor del índice en el momento t solo puede usarse para evaluar resultados de un momento posterior t+Δ”, con una alineación consistente en todo el conjunto de datos.
4) Utilice validación fuera de muestra
El sobreajuste es un riesgo importante con cualquier método similar a un indicador. Utilice:
- Pruebas walk-forward: estime o ajuste parámetros repetidamente en una ventana de entrenamiento y luego evalúe en la siguiente ventana de exclusión (holdout).
- División fija fuera de muestra: decida la configuración de parámetros en un período y evalúe solo una vez en un período posterior.
También informe el rendimiento en múltiples períodos e incluya la sensibilidad a las elecciones de parámetros.
Limitaciones y riesgos: qué puede hacer que los resultados fallen
Al menos una limitación material debe ser parte de su informe de backtesting:
- No repetibilidad histórica: incluso si un índice se correlaciona con resultados futuros en un conjunto de datos, la relación puede romperse bajo nuevos regímenes de mercado.
- Problemas de calidad de datos: diferentes proveedores, métodos de construcción de barras o manejo de datos faltantes pueden cambiar el índice calculado.
- Cambios de régimen: la interpretación de “aleatoriedad vs. estructura” puede comportarse de manera diferente durante picos de volatilidad o cambios estructurales.
- Riesgo del modelo de costos: los spreads y la ejecución reales varían; pequeños cambios en los costos asumidos pueden cambiar las conclusiones.
- Sesgo de selección y comparaciones múltiples: probar muchos conjuntos de parámetros e informar solo el mejor puede crear una falsa confianza.
Verificación y siguientes preguntas: cómo comprobar su trabajo
Para verificar de manera responsable, cree una lista de verificación que otra persona pueda seguir:
- ¿Puede un lector reproducir el cálculo del Índice de Paseo Aleatorio a partir de su fórmula descrita y los pasos de preprocesamiento? 2) ¿Está alineado el momento del índice/resultado sin mirar hacia adelante? 3) ¿Están indicados los costos y los supuestos de ejecución, incluso si son simplificados?