La práctica de backtesting en términos sencillos
La práctica de backtesting es el proceso de evaluar una idea de trading (por ejemplo, una entrada y salida basada en reglas) ejecutándola sobre datos históricos de precios. El objetivo es estimar lo que la idea podría haber producido en el pasado si se hubieran seguido las mismas reglas.
Un backtest típicamente incluye (1) datos históricos, (2) una regla o modelo que genera acciones a partir de esos datos, y (3) una forma de calcular resultados como ganancias y pérdidas, reducción (drawdown) y frecuencia de aciertos/errores. Estos cálculos dependen de supuestos sobre lo que sucedió dentro de cada período de tiempo (por ejemplo, cómo se movieron los precios entre los puntos de datos registrados) y sobre la ejecución de las operaciones (por ejemplo, comisiones, spreads y si las órdenes se ejecutaron).
Por qué el backtesting puede ser menos útil de lo que parece
Una limitación clave es que el backtest es una simulación del pasado, no una observación del futuro. Incluso cuando los resultados históricos parecen sólidos, las relaciones aprendidas de la historia pueden no repetirse bajo nuevas condiciones de mercado. Las limitaciones a continuación explican los modos de fallo comunes.
1) Datos históricos y brechas en la microestructura del mercado
La mayoría de los backtests utilizan barras o ticks de precios registrados, pero el trading real implica más detalles de los que muchos conjuntos de datos capturan. Si sus datos históricos están incompletos, ajustados de una manera que cambia el significado del precio, o carecen de la información necesaria para modelar la ejecución de órdenes, el backtest puede desviarse de lo que sucedería en el trading en vivo.
Además, el mapeo de los precios registrados a las posibles ejecuciones es incierto. Por ejemplo, si una regla supone una ejecución a un nivel de precio específico, pero el mercado real podría haberse movido más allá de ese nivel antes de que una orden pudiera ejecutarse, la simulación se vuelve optimista.
2) Supuestos sobre costos, calidad de ejecución y deslizamiento (slippage)
Incluso si la lógica de la estrategia es correcta, los resultados dependen en gran medida de los supuestos sobre los costos de transacción y la ejecución. Los backtests a veces utilizan modelos de costos simplificados (por ejemplo, spreads constantes o sin deslizamiento) o asumen una ejecución perfecta de las órdenes. En la práctica, los spreads se amplían, la liquidez cambia y el deslizamiento puede variar con la volatilidad y la hora del día.
Debido a que las pequeñas diferencias en los costos pueden acumularse a lo largo de muchas operaciones, un backtest que ignore o subestime estos efectos puede exagerar el rendimiento.
3) Sobreajuste (overfitting) y espionaje de datos (data-snooping)
El backtesting puede, sin querer, “ajustarse” al ruido de un conjunto de datos particular. Esto sucede cuando se prueban y seleccionan muchos parámetros porque mejoraron los resultados pasados. Cuanto más se busque una combinación que se vea bien en los mismos datos, mayor será la probabilidad de que la ventaja aparente sea específica de ese período en lugar de una propiedad general del mercado.
Un problema relacionado es el espionaje de datos: probar repetidamente muchas variantes hasta que una parezca funcionar bien. Sin una separación cuidadosa de los períodos de entrenamiento y prueba, los resultados pasados sólidos pueden no reflejar un mecanismo repetible.
4) Mercados no estacionarios y condiciones cambiantes
Los mercados no son sistemas estables. Los regímenes de volatilidad cambian, la participación se desplaza y la liquidez puede moverse. Una regla que funcionó durante un entorno puede comportarse de manera diferente cuando cambian los spreads, la volatilidad o las correlaciones.
Incluso sin eventos regulatorios o estructurales, las propiedades estadísticas de las series de precios pueden derivar. Esto significa que los supuestos que estaban implícitamente “incorporados” durante el período que probó pueden dejar de ser válidos.
5) Definición ambigua de qué se está probando exactamente
Los backtests pueden ser difíciles de comparar porque los insumos y las reglas difieren. Para cualquier ejemplo, debería poder indicar:
- Qué frecuencia de datos se utilizó (por ejemplo, barras vs. ticks).
- Cómo se calcularon los indicadores o características y si utilizaron solo información disponible en ese momento.
- Cómo se decidieron las entradas y salidas y cómo se modeló la ejecución de las órdenes.
Si alguno de estos detalles no está claro, el backtest puede no probar la idea prevista; en cambio, puede probar un artefacto de la implementación elegida.
Verificación que puede mejorar la fiabilidad
No se puede hacer que un backtest “pruebe” que una estrategia funcionará, pero se puede comprobar si es probable que los resultados sean sólidos.
Un enfoque de verificación práctico es definir los supuestos explícitamente y probar la sensibilidad. Por ejemplo, varíe los parámetros de costos dentro de rangos razonables, o utilice diferentes períodos históricos con diferentes condiciones de mercado. Por separado, utilice pruebas fuera de muestra: evalúe las reglas en datos no utilizados para la selección de parámetros.