Qué significa “proceso de revisión” (mecánica)
Un proceso de revisión es una forma estructurada de mirar hacia atrás las decisiones y sus resultados para aprender qué conservar, cambiar o probar a continuación. En la práctica, generalmente implica: (1) elegir qué cuenta como una decisión, (2) recopilar la información relevante utilizada en ese momento, (3) comparar los resultados planificados frente a los reales y (4) registrar las lecciones en un formato repetible.
Para evaluarlo con precisión, necesita definiciones estables. Por ejemplo, especifique qué quiere decir con “resultado” (resultado neto después de costos, o movimiento bruto), qué ventana de tiempo revisa y qué entradas se incluyen. Sin estas elecciones, la revisión puede parecer precisa mientras que en realidad mide cosas diferentes cada vez.
Evidencia y ejemplo: dónde se rompen las conclusiones de la revisión
Considere un flujo de trabajo de revisión simple que etiqueta cada resultado como “bueno” si fue positivo en un gráfico y “malo” si fue negativo. Esto puede fallar porque el signo de un resultado no es lo mismo que el resultado que usted experimentó.
Incluso sin usar datos en tiempo real, la limitación es clara: la revisión puede ignorar condiciones variables como diferentes spreads, deslizamiento, comisiones o el momento de la ejecución. Si los datos históricos que utilizó asumían un conjunto de costos y el entorno en vivo tenía otro, las comparaciones de su revisión mezclan peras con manzanas.
Otro modo de falla es el sesgo de supervivencia en lo que elige revisar. Si revisa solo las decisiones que son fáciles de explicar después del hecho, el proceso sobreestima la frecuencia con la que su razonamiento funciona.
Limitaciones y riesgos: modos de falla, incertidumbre y condiciones cambiantes
Las limitaciones principales no se refieren a si revisar ayuda al aprendizaje; se refieren a lo que un proceso de revisión puede concluir de manera confiable.
-
No se asumen datos de mercado en tiempo real, por lo que la relevancia futura es incierta. Una revisión se basa en lo que sucedió en el pasado. El siguiente período puede diferir materialmente en volatilidad, liquidez y comportamiento de correlación.
-
Los resultados varían con los costos, la ejecución y la jurisdicción. La misma intención subyacente puede producir resultados realizados diferentes cuando los costos, la calidad de la ejecución de órdenes o las reglas aplicables difieren entre tiempos y lugares.
-
Las relaciones históricas no establecen resultados futuros. Incluso cuando una revisión encuentra un patrón en resultados pasados, eso no prueba que condiciones similares se repetirán.
-
Las entradas inconsistentes socavan la medición. Si cambia las definiciones (por ejemplo, a veces contando las comisiones y a veces no), o si captura las decisiones con diferentes niveles de detalle, entonces la “mejora” puede ser un artefacto.
-
Sobreajuste a una muestra limitada. Cuando el número de decisiones revisadas es pequeño, el proceso puede confundir la variación aleatoria con una lección estable.
Cómo verificar los hallazgos de la revisión (y qué preguntar a continuación)
Para verificar de forma independiente lo que le está diciendo un proceso de revisión, concéntrese en las partes que puede medir de manera consistente. Declare supuestos explícitos: qué cuenta como “decisión”, qué costos se incluyen y si la comparación usa las mismas reglas cada vez.
Luego haga estas preguntas de verificación:
- ¿Se aplican las mismas definiciones en todos los casos revisados?
- ¿La revisión separa el efecto del movimiento del mercado del efecto de la ejecución y los costos?
- Si repite la revisión en una ventana de tiempo diferente, ¿las conclusiones permanecen consistentes en dirección y magnitud?
- ¿Están documentados el tamaño de la muestra y los criterios de selección para que pueda juzgar el riesgo de sesgo?
Si estas comprobaciones no se pueden realizar, la interpretación más segura es que el proceso de revisión proporciona señales de aprendizaje sobre su flujo de trabajo pasado, no predicciones confiables sobre resultados futuros.