Respuesta directa
La información sobre la práctica de backtesting se puede verificar comprobando (1) qué método exacto se utilizó, (2) qué entradas se asumieron (datos, costos, reglas de ejecución), (3) si los resultados se pueden reproducir a partir de esas entradas y (4) si se probaron los modos de fallo conocidos. Una afirmación solo es significativa si es lo suficientemente específica para volver a ejecutarse y lo suficientemente independiente para que otra persona pueda llegar a las mismas conclusiones bajo los mismos supuestos.
Definición y verificación del “qué”
La práctica de backtesting es el proceso de evaluar un modelo de trading o una regla de decisión aplicándolo a datos históricos y simulando lo que habría sucedido bajo un conjunto explícito de reglas. La verificación comienza separando:
- Mecánica estable: los pasos algorítmicos (lógica de entrada/salida, reglas de posición, cálculos de riesgo) y el procedimiento de cálculo.
- Condiciones variables: el comportamiento del mercado a lo largo del tiempo y cualquier supuesto que pueda cambiar el resultado, como spreads, comisiones, deslizamiento, liquidez y momento de ejecución.
Un objetivo de verificación útil es una especificación completa. Como mínimo, la información debe indicar qué regla de decisión se probó, qué período(s) de datos se utilizaron, cómo se generaron las señales en el tiempo y cómo se simularon las operaciones.
Evidencia y ejemplos de comprobaciones que puedes reproducir
Utiliza una jerarquía de fuentes que coincida con cómo las afirmaciones se vuelven comprobables:
- Descripción del método principal: la descripción original del procedimiento de backtesting (lógica y fórmulas).
- Transparencia de las entradas: la fuente de datos históricos y los pasos de preprocesamiento (limpieza, remuestreo, marcas de tiempo).
- Modelo de ejecución: las reglas sobre cómo se habrían ejecutado las órdenes (fuente de precios, supuestos de latencia y cómo se aplican los costos).
- Rastro de cálculo: suficiente detalle para reproducir las métricas a partir de los resultados brutos (lista de operaciones, cálculos de tamaño de posición y método de agregación).
Pasos de verificación reproducibles:
- Paso 1: Registra los supuestos. Anota cada supuesto que afecte los resultados: la zona horaria y la alineación de las velas, si el modelo usa el cierre o la apertura, los costos de transacción y si las ejecuciones asumen que el precio de la misma vela está disponible.
- Paso 2: Comprueba el momento de los eventos (mirar hacia adelante vs. mirar hacia atrás). Asegúrate de que las decisiones en el momento t solo utilicen información que habría sido conocida en el momento t. Un fallo común es usar velas futuras para formar características o decidir entradas.
- Paso 3: Valida la lógica de ejecución. Confirma cómo el modelo convierte las reglas de decisión en operaciones: cuándo cambian las posiciones, cómo se deducen los costos y si las ejecuciones parciales o el deslizamiento se ignoran o se aproximan.
- Paso 4: Recalcula las métricas a partir de un registro de operaciones. Si el backtest solo informa estadísticas resumidas, solicita los resultados subyacentes operación por operación o recréalos a partir de las fórmulas indicadas.
- Paso 5: Realiza una prueba de sensibilidad. Cambia un supuesto a la vez dentro de rangos razonables (por ejemplo, supuestos de costos o ejecución ligeramente diferentes) y confirma si el rendimiento es robusto o se desploma.
Limitaciones materiales y modos de fallo a buscar explícitamente:
- Sesgo de mirar hacia adelante (usar información no disponible en el momento de la decisión).
- Sobreajuste y pruebas repetidas (ajustar parámetros hasta que coincidan con peculiaridades históricas).
- Ejecuciones poco realistas (asumir una ejecución perfecta sin efectos de liquidez o deslizamiento).
- Sesgo de selección (elegir períodos favorables después de ver los resultados).
Debido a que las relaciones históricas no garantizan resultados futuros, la verificación debe centrarse en si el método es internamente consistente y si demuestra resiliencia a cambios plausibles en los supuestos.
Limitaciones y riesgos
Incluso cuando el backtesting se realiza cuidadosamente, los resultados siguen siendo condicionales a los supuestos declarados. Los costos, el momento de ejecución y la microestructura del mercado pueden diferir sustancialmente entre períodos, y pequeñas diferencias de modelado pueden producir grandes cambios en las métricas. Por lo tanto, la verificación no debe tratar un backtesting sólido como evidencia de rendimiento futuro; es evidencia de que un método puede comportarse de una manera particular bajo condiciones simuladas particulares.
Lista de verificación de verificación y siguiente pregunta
Para verificar una afirmación de backtesting de forma independiente, confirma que todo lo siguiente esté claramente indicado y pueda volver a ejecutarse:
- Alcance de los datos y detalles del preprocesamiento.
- Lógica de decisión exacta y cómo se traduce en órdenes.
- Supuestos de momento de ejecución y cómo se seleccionan los precios para las ejecuciones.
- Supuestos de costos y cómo se aplican por operación.
- Resultados reproducibles (al menos un registro de operaciones o un rastro de cálculo).
Si falta alguno de estos elementos, aún puedes evaluar la afirmación cualitativamente, pero no puedes verificarla por completo. La siguiente pregunta que debes hacer es: ¿Se puede reproducir el mismo backtesting de principio a fin utilizando solo la información proporcionada, sin añadir supuestos ocultos?