Respuesta directa
La confirmación de ruptura se puede probar convirtiendo la idea en una hipótesis comprobable y luego realizando una comparación objetiva entre (1) rupturas que incluyen su regla de confirmación y (2) rupturas que no la incluyen. “Probado” aquí significa que usted mide las diferencias en los resultados relevantes en datos históricos y demuestra que los resultados persisten en diferentes divisiones de datos y supuestos, en lugar de basarse en una única muestra seleccionada favorablemente.
Debido a que el comportamiento del mercado, los costos y la ejecución varían, el objetivo no es predecir el rendimiento futuro ni garantizar resultados. En cambio, usted verifica si su regla de confirmación cambia los resultados de manera consistente y explicable.
Mecánica: defina la confirmación de ruptura como una regla
Antes de analizar las implicaciones, defina el concepto en términos operativos.
Una definición práctica para probar es: una ruptura es un evento candidato (por ejemplo, el precio cierra más allá de un nivel), y la confirmación de ruptura es una condición adicional que debe ocurrir dentro de un período de tiempo específico después del evento candidato. Para probar correctamente, su regla de confirmación debe especificar al menos:
- Qué califica como ruptura candidata
- Ejemplo de mecánica estable: se produce una ruptura cuando el precio cierra por encima (o por debajo) de un límite predefinido.
- Defina cómo se calcula el límite (por ejemplo, máximo/mínimo en un período de retroceso) y si el límite se actualiza.
- Qué califica como confirmación
- La confirmación podría ser algo como un comportamiento de continuación (por ejemplo, cierres adicionales en la dirección de la ruptura), una distancia mínima más allá del nivel, o la ausencia/presencia de un retroceso dentro de una ventana.
- Fundamentalmente, la confirmación debe estar vinculada a reglas que puedan aplicarse de manera idéntica a lo largo del tiempo.
- La ventana de tiempo
- La confirmación de ruptura solo tiene sentido en relación con una ventana (por ejemplo, “dentro de las próximas N barras”).
- Las pruebas deben fijar el tamaño de la ventana para evitar mezclar resultados “tempranos” y “tardíos”.
- El horizonte de medición
- Decida qué “resultado” medirá después de la ruptura, como si el precio alcanza un umbral, cuánto tiempo tarda, o con qué frecuencia sale por un lado.
Cuando separa estos componentes, puede probar si el paso de confirmación mejora los resultados en relación con el mismo horizonte de medición.
Evidencia: una hipótesis, una referencia y una división de datos
Las pruebas se vuelven creíbles cuando siguen una estructura: hipótesis → referencia → división de datos → métricas de evaluación.
Paso 1: Formule una hipótesis
Formule una hipótesis que pueda fallar. Por ejemplo:
- Hipótesis: “Agregar la regla de confirmación cambia la distribución de los resultados posteriores a la ruptura en comparación con las rupturas candidatas sin confirmación.”
Evite un lenguaje vago. “Cambia” debe referirse a una métrica medible que usted calculará (frecuencia de resultados favorables, tamaño promedio de la excursión u otra medida de resultado).
Paso 2: Elija una referencia
Se requiere una referencia para aislar el efecto de la confirmación.
Las buenas referencias mantienen todo igual excepto el paso de confirmación. Por ejemplo:
- Referencia A: marque las rupturas candidatas usando su definición de ruptura, pero acéptelas sin ningún filtro de confirmación.
- Condición de prueba: acepte solo los candidatos que también cumplan su regla de confirmación.
Si también cambia otros componentes (cálculo del límite, ventanas de tiempo, horizonte de medición), podría atribuir accidentalmente mejoras o degradaciones al cambio incorrecto.
Paso 3: Fije las divisiones de datos antes de probar
Utilice una estrategia de división consistente para que los resultados no provengan de probar después de observar los datos.
Los enfoques comunes incluyen:
- Entrenamiento/selección vs. evaluación: use un período para seleccionar los valores de los parámetros (si los tiene) y otro período para evaluar el rendimiento final.
- Pruebas continuas o walk-forward: entrene repetidamente en una ventana anterior y evalúe en la siguiente ventana.
Si no fija la división, introduce data snooping (espionaje de datos): su método puede parecer efectivo porque se adaptó al ruido.
Paso 4: Incluya costos y supuestos de ejecución
Aunque es posible que no tenga datos de mercado en tiempo real aquí, debe declarar los supuestos de costos porque pueden cambiar qué resultados son realmente favorables.
Como mínimo, defina:
- Costos de transacción: use un modelo de costos fijos aplicado a cada evento aceptado.
- Deslizamiento de ejecución: suponga un deslizamiento adverso conservador dentro de un rango establecido, o pruebe múltiples escenarios de deslizamiento.
- Supuestos de sincronización: especifique si la confirmación se aplica al cierre de la barra o dentro de la barra, ya que esto afecta si usted podría entrar después de la confirmación.
Los costos son un “factor variable material”: dos reglas de confirmación que parecen similares en el precio bruto pueden divergir una vez que agrega fricciones realistas.
Paso 5: Utilice métricas que coincidan con su hipótesis
Seleccione métricas de evaluación alineadas con “lo que importa” sobre la continuación de la ruptura. Ejemplos de familias de métricas incluyen:
- Tasa de aciertos: proporción de eventos que alcanzan un umbral posterior a la ruptura especificado.
- Tiempo hasta el evento: promedio o distribución del tiempo hasta alcanzar un objetivo o fallar.
- Medidas de distribución: compare la excursión adversa típica después de la aceptación.
En todos los casos, informe la incertidumbre (por ejemplo, intervalos de confianza o al menos la variabilidad entre divisiones) para que pueda ver si los resultados son estables.
Comprobaciones de costos y características: robustez que puede verificar
Para separar la mecánica estable de las condiciones variables del mercado o del proveedor, realice comprobaciones de robustez. Estas comprobaciones le ayudan a responder: “¿Es real el efecto de confirmación, o dependió de un solo escenario limitado?”
Comprobación 1: Sensibilidad de parámetros
Si su regla de confirmación utiliza umbrales (distancia, número de cierres, cantidad de retroceso), pruebe múltiples valores cercanos.
- Si el rendimiento colapsa con pequeños cambios de parámetros, el método puede ser frágil.
Comprobación 2: Variación del régimen
Las rupturas y las rupturas falsas se comportan de manera diferente en mercados con tendencia vs. mercados laterales.
- Pruebe en diferentes condiciones de mercado, o al menos en diferentes períodos de tiempo que representen razonablemente diferentes regímenes.
Comprobación 3: Validación fuera de muestra
Su evaluación final no debe utilizar los datos que determinaron la configuración de su regla.
- Si la ventaja de la confirmación aparece solo en el período de selección, no puede generalizar.
Comprobación 4: Filtrado de eventos y sesgo de supervivencia
Tenga cuidado con cómo define los eventos candidatos.
- Si la creación de su conjunto de datos excluye inadvertidamente casos difíciles (por ejemplo, eventos cerca de los límites de los datos), sesga los resultados.
Comprobación 5: Consistencia de la definición de confirmación
Si la confirmación depende de niveles que se recalculan con retrospectiva (por ejemplo, límites que cambian según información futura), los resultados se vuelven poco fiables.
- Asegúrese de que cada componente utilice solo información disponible en el momento de la ruptura candidata.
Limitaciones y modos de fallo que debe probar
Se debe esperar al menos una limitación material o modo de fallo, no ignorarlo.
-
Confirmación falsa Una regla de confirmación puede aceptar accidentalmente eventos que solo “se ven bien” brevemente y luego se revierten. Este modo de fallo a menudo aparece cuando las ventanas de confirmación son demasiado cortas o los umbrales demasiado permisivos.
-
Sesgo de ventana de tiempo Si evalúa con un horizonte pero confirma con otro, puede medir sin querer correlación en lugar de causalidad.