Respuesta directa
El proceso de revisión es un método para examinar acciones pasadas, resultados y toma de decisiones para mejorar el trabajo futuro. Los principales riesgos son operativos (cómo se lleva a cabo la revisión), relacionados con el mercado (cómo las condiciones cambiantes afectan los resultados), relacionados con la contraparte (cómo se comportan los proveedores o los lugares de ejecución) y relacionados con la interpretación (cómo las personas y los sistemas leen la evidencia).
Mecanismo y definición
Un proceso de revisión típicamente toma entradas como marcas de tiempo de decisiones, precios registrados, detalles de órdenes, resultados de ejecución y el razonamiento o las reglas que dices haber seguido. Luego compara lo que sucedió contra expectativas o criterios predefinidos. Finalmente, produce conclusiones como “qué funcionó”, “qué no funcionó” y “qué cambiar”.
Este flujo de trabajo crea varias superficies de riesgo:
- Riesgo operativo: la revisión puede fallar si los datos están incompletos, los criterios cambian con el tiempo o el proceso no se aplica de manera consistente.
- Riesgo de mercado: incluso si tu mecánica es correcta, los resultados pueden cambiar porque la volatilidad, la liquidez y los costos de transacción varían.
- Riesgo de contraparte: la calidad de la ejecución y el cumplimiento de políticas dependen de la plataforma, el lugar de ejecución y cualquier intermediario.
- Riesgo de interpretación: el mismo conjunto de datos puede llevar a conclusiones diferentes según los supuestos y el sesgo cognitivo.
Evidencia o ejemplo (con supuestos)
Supón que revisas una secuencia de operaciones durante dos semanas diferentes.
- La semana A tiene spreads más ajustados y menores oscilaciones intradía.
- La semana B tiene spreads más amplios y movimientos de precios más rápidos.
Si tu revisión se centra en la ganancia/pérdida bruta sin ajustar por costos y condiciones cambiantes, tu conclusión puede reflejar principalmente el entorno del mercado en lugar de la calidad de tus decisiones. Esto es una superposición de riesgo de mercado y riesgo de interpretación.
El riesgo operativo puede aparecer cuando algunas órdenes se revisaron utilizando campos diferentes (por ejemplo, usando precios enviados en lugar de los precios realmente ejecutados). Entonces, la “tasa de error” que calculas no es una medición real del rendimiento, porque mide elecciones de registro.
El riesgo de contraparte puede aparecer cuando los resultados de ejecución difieren de lo que esperabas de tu conjunto de datos histórico, como cuando retrasos o llenados parciales cambian los resultados realizados. Incluso con las mismas reglas de estrategia, los resultados pueden diferir.
Limitaciones y riesgos a tener en cuenta
Al menos un modo de fallo material es que el proceso de revisión puede convertirse en un bucle de auto-reforzamiento: notas patrones solo en subconjuntos que confirman tus creencias y descartas evidencia contradictoria. Esto puede llevar al sobreajuste—tratar la variación aleatoria como una señal repetible.
Otras limitaciones comúnmente incluyen:
- Sesgo de confirmación: puedes asignar más peso a explicaciones que hacen que la revisión “se sienta” consistente.
- Sesgo de supervivencia: si solo revisas los casos que se completaron normalmente, puedes perderte fallos.
- Estándares de evaluación inconsistentes: cambiar lo que cuenta como éxito entre revisiones reduce la comparabilidad.
- Sensibilidad a datos y costos: los resultados pueden ser altamente sensibles a los costos de transacción, la calidad de la ejecución y las definiciones utilizadas en el seguimiento.
Debido a que los resultados varían con los costos, la ejecución y los factores jurisdiccionales, las relaciones históricas no establecen resultados futuros. Además, incluso una revisión bien ejecutada no puede eliminar la incertidumbre; solo puede estructurar lo que pruebas y cómo lo validas.
Verificación y siguientes preguntas
Para verificar afirmaciones sobre un proceso de revisión, comprueba si el proceso define entradas y salidas claramente, utiliza criterios consistentes a lo largo del tiempo y distingue resultados realizados de expectativas. Una pregunta útil a continuación es: “¿Qué campos y supuestos exactos se utilizan al comparar resultados en diferentes condiciones de mercado?”
También puedes preguntar si la revisión separa errores operativos (registro de datos, aplicación de reglas, eventos faltantes) de efectos impulsados por el mercado (liquidez, volatilidad) y de efectos impulsados por la ejecución (calidad de llenado, momento). Esta separación es clave para reducir tanto el riesgo de interpretación como el riesgo de contraparte.