Qué significa “backtesting responsable” para Frama
El backtesting es una forma de estudiar cómo una regla basada en indicadores podría haberse comportado con datos históricos de precios. Un backtesting “responsable” no afirma rendimiento futuro. En cambio, construye una prueba transparente y repetible que (1) define las entradas y configuraciones del indicador, (2) modela los costos y la ejecución de manera realista, (3) limita el sesgo y el sobreajuste, y (4) verifica si los resultados sobreviven a nuevos datos fuera del período utilizado para diseñar la prueba.
Para Frama específicamente, primero debe comprenderlo como una media móvil cuyo comportamiento depende de la estructura del mercado capturada a partir de la variación de precios. Por lo tanto, cualquier backtesting debe documentar cómo se calculan las entradas de la media móvil y cómo se convierte(n) el/los valor(es) del indicador en una regla, sin asumir que un valor del indicador equivale automáticamente a una señal de trading.
Mecánica: defina datos, supuestos y cómo se usa Frama en la prueba
Comience por escribir cada supuesto que afecte los números:
- Definición de datos: qué instrumento (par FX genérico), qué marco temporal (por ejemplo, barras horarias), qué zona horaria y si la serie se ajusta por acciones corporativas (generalmente menos relevante para FX que para acciones, pero el principio es el mismo).
- Configuración del indicador: los parámetros de Frama y la(s) ventana(s) de retroceso. Los backtesting deben mantenerlos fijos a menos que ejecute explícitamente una búsqueda de parámetros.
- Reglas de cálculo: si el indicador se calcula utilizando el mismo cierre de barra que evalúa más tarde y cómo maneja las primeras barras donde el indicador necesita historial de calentamiento.
- Definición de la regla: si evalúa la “calidad de la señal”, defina la lógica de decisión exacta (por ejemplo, si la prueba evalúa el comportamiento de cruce, umbrales o filtros de régimen). No trate la “dirección del indicador” como una señal independiente universal.
A continuación, modele los costos y la ejecución de una manera que coincida con sus supuestos. Incluso sin spreads en tiempo real, puede incluir términos de fricción como marcadores de posición constantes (por ejemplo, un costo de transacción fijo por entrada y salida) y declarar que estos son supuestos.
Costos a considerar en el mismo marco:
- Costos de transacción (comisiones, tarifas).
- Modelo de spread bid/ask o deslizamiento (cómo aproxima la diferencia entre los precios basados en barras y los precios de negociación).
- Momento de la orden (si asume la ejecución en la apertura de la siguiente barra, en el cierre o con un retraso fijo).
Finalmente, elija métricas que reflejen la pregunta que está haciendo. Los ejemplos incluyen proxies de rendimiento ajustados al riesgo, drawdown máximo, tasa de aciertos o excursión adversa promedio. La clave es definir las métricas antes de ejecutar las pruebas.
Evidencia y ejemplo: cómo diseñar comprobaciones que reduzcan el sesgo
Un modo de fallo común en el backtesting de indicadores es el sobreajuste: la prueba encuentra una configuración que coincide con un período histórico pero no se generaliza.
Dos enfoques prácticos de control de sesgo:
-
Validación walk-forward (rodante)
- Divida el historial en múltiples segmentos consecutivos.
- Utilice un segmento anterior para seleccionar o confirmar configuraciones y luego evalúe en el siguiente segmento.
- Repita y agregue resultados.
-
Retención estricta fuera de muestra
- Reserve un período final que nunca se utilice para seleccionar parámetros o crear reglas.
- Solo después de que la regla esté fija, evalúe en la retención.
Si ejecuta una exploración de parámetros (por ejemplo, variando las opciones de retroceso de Frama), separe el acto de “encontrar” del acto de “medir”. Un flujo de trabajo responsable trata el paso de medición como una prueba final de generalización.
También pruebe la estabilidad:
- Verifique si el rendimiento depende en gran medida de un solo régimen.
- Repita la evaluación en múltiples períodos de tiempo y, cuando sea factible, en múltiples instrumentos.
- Compare los resultados con un punto de referencia simple (como una línea base pasiva) para interpretar si cualquier mejora es significativamente diferente de lo que un enfoque básico puede lograr.
Limitaciones y modos de fallo que deben tratarse como información de primera clase
Los resultados históricos del backtesting son inciertos. Las limitaciones importantes incluyen:
- Dependencia del régimen de mercado: la estructura de un indicador puede funcionar solo cuando las características de volatilidad y tendencia coinciden con el período utilizado en la prueba.
- Desajuste de costos y ejecución: pequeños cambios en los costos de transacción, deslizamiento o momento asumidos pueden revertir las conclusiones, especialmente para estrategias con cambios frecuentes.
- Artefactos de datos: las diferencias en el muestreo, las barras faltantes, los diferentes proveedores de datos o la construcción inconsistente de barras pueden cambiar los resultados.
- Calentamiento del indicador y efectos de borde: la inicialización de las primeras barras puede sesgar los resultados si no se maneja de manera consistente.
- Comparaciones múltiples y grados de libertad del investigador: si prueba muchas configuraciones de parámetros y busca la “mejor”, aumenta la probabilidad de encontrar patrones por casualidad.