Comparación de Ejecución, en términos sencillos
La Comparación de Ejecución es el proceso de poner dos (o más) enfoques o proveedores de ejecución uno al lado del otro y evaluar cómo difieren los resultados de las órdenes. “Ejecución” generalmente se refiere a lo que sucede desde la entrada de la orden hasta el resultado final de la operación completada, incluido el momento y los precios a los que se producen los llenados. “Comparación” significa que el evaluador aplica el mismo marco de evaluación a cada opción para que las diferencias sean atribuibles al enfoque de ejecución, no a datos de entrada no coincidentes.
Debido a que los resultados de la ejecución dependen de condiciones reales y detalles de implementación, verificar la información de la Comparación de Ejecución significa confirmar tres cosas: (1) las definiciones y métricas, (2) los datos de entrada y supuestos utilizados para calcular esas métricas, y (3) los límites donde la comparación no es válida.
Jerarquía de fuentes para verificar afirmaciones
Utilice una jerarquía de fuentes que distinga la mecánica estable de los detalles variables y específicos de la entidad:
-
Definiciones primarias y estables (fuentes generales): verifique que los términos utilizados—como precio de llenado, deslizamiento, latencia de ejecución o costo realizado—se definan de manera consistente con cómo se miden realmente. Esto suele ser conocimiento educativo estable.
-
Documentación operativa (específica de la entidad pero comprobable): cuando una comparación dependa de cómo se enrutan, igualan, compensan o registran las órdenes, necesitará la documentación operativa o técnica relevante de la plataforma o el proveedor. La verificación aquí se centra en qué se midió, cómo se generan las marcas de tiempo y qué etapas de ejecución se incluyen.
-
Divulgaciones de metodología (evidencia del autor de la comparación): valide que la comparación especifique la ventana de evaluación, los tipos de órdenes y configuraciones, el método de muestreo (si lo hay) y las reglas de cálculo para cada métrica.
-
Verificaciones cruzadas independientes: si las conclusiones de la comparación son importantes, busque corroboración desde más de una perspectiva (por ejemplo, diferentes conjuntos de datos, diferentes períodos de prueba o diferentes implementaciones de cálculo). Está comprobando si los mismos patrones condicionales aparecen bajo los mismos supuestos declarados.
Pasos de verificación reproducibles (sin necesidad de datos en vivo)
Una forma útil de verificar la información de la Comparación de Ejecución es construir un “paquete de verificación” e intentar reproducir los cálculos utilizando las reglas declaradas de la comparación.
-
Extraiga las métricas y definiciones: enumere cada métrica que utiliza el autor (por ejemplo, diferencia promedio en el precio de llenado, distribución del deslizamiento o diferencial realizado). Registre la definición exacta y la unidad.
-
Registre los supuestos y costos incluidos: verifique si el autor incluye o excluye costos de transacción, comisiones u otros cargos relacionados con la ejecución. Si se muestra un ejemplo, confirme que establece los supuestos explícitamente.
-
Fije la ventana de ejecución y las reglas de tiempo: las comparaciones a menudo fallan cuando un lado mide desde el envío de la orden mientras que el otro mide desde la recepción de la cotización o desde una fuente de marca de tiempo diferente. Asegúrese de que ambas opciones utilicen los mismos límites de tiempo.
-
Verifique la comparabilidad de los datos de entrada de las operaciones: confirme que ambas opciones se prueben en condiciones equivalentes: misma dirección de orden, mismo tamaño de orden, mismo tipo de orden y mismas restricciones de ejecución descritas por el autor.
-
Vuelva a ejecutar los cálculos con las fórmulas del autor: si no se proporcionan los registros de llenado sin procesar, aún puede verificar la aritmética utilizando cualquier valor intermedio presentado. Indique cualquier supuesto adicional que deba agregar y luego pruebe si los cambios en esos supuestos alteran materialmente el resultado.
-
Verifique si hay datos faltantes y efectos de selección: busque si la comparación solo incluye operaciones completadas, solo incluye ciertos regímenes de mercado o excluye valores atípicos de una manera que cambie el significado de las métricas.
Limitaciones y modos de falla comunes
La Comparación de Ejecución a menudo se malinterpreta porque las diferencias pueden reflejar elecciones de medición en lugar de la calidad de la ejecución. Las limitaciones importantes incluyen:
- Resultados condicionados al mercado: los resultados cambian con la volatilidad, la liquidez y las condiciones del diferencial. Las relaciones históricas no garantizan el comportamiento futuro.
- Desajuste de métricas: dos informes pueden usar la misma etiqueta (por ejemplo, “deslizamiento”) pero definirla de manera diferente (elección del precio de referencia, marca de tiempo o convención de signo).
- Tiempos no comparables: fuentes de marcas de tiempo inconsistentes o definiciones de etapas de ejecución pueden hacer que una opción parezca mejor simplemente debido a cómo se registran los eventos.
- Manejo de costos y comisiones: excluir costos puede exagerar las diferencias aparentes; incluir costos sin claridad puede ocultar lo que impulsa la diferencia.
- Cobertura de datos: llenados faltantes, ejecuciones parciales o reglas de supervivencia/selección pueden sesgar las comparaciones.
Trate cualquier conclusión de comparación única como condicionada a la metodología descrita. La verificación debe centrarse en si la metodología es internamente consistente y si especifica las condiciones donde la comparación se aplica o no.