Respuesta directa
La calidad de ejecución para un ASIC (un sistema automatizado de mercado o de ejecución) se evalúa comparando lo que realmente sucedió con lo que se pretendía, utilizando métricas medibles. Debido a que no puedes asumir resultados futuros a partir de resultados pasados, una buena evaluación también requiere documentar limitaciones, modos de fallo y cuánto del resultado proviene de la mecánica estable frente a condiciones variables del mercado y del proveedor.
Este artículo se centra en métodos generales y verificables que no dependen de datos en tiempo real ni de prometer resultados.
Definición y mecánica central
La “calidad de ejecución” describe qué tan bien se traduce una orden en transacciones reales con costos y tiempos consistentes con los objetivos de la orden. En la práctica, la evaluación generalmente separa tres partes:
- Parámetros previstos: lo que el sistema intentó hacer (tipo de orden, tamaño, dirección, restricciones de tiempo y precio objetivo o protección de precio).
- Resultados de ejecución observados: lo que sucedió (precio(s) de ejecución, tiempo(s) de ejecución, si las ejecuciones coincidieron con la cantidad prevista y si el enrutamiento o manejo cambió la orden).
- Costo y fricciones: los componentes que alejan los resultados del ideal (spread efectivo, comisiones/tarifas y deslizamiento relativo a una referencia elegida).
Un concepto clave es el precio de referencia. El deslizamiento solo es significativo en relación con un punto de referencia definido (por ejemplo, la cotización observada justo antes de la orden, o el mejor precio disponible en ese momento). Si la referencia no es clara, el “deslizamiento” puede ser engañoso incluso cuando los cálculos parecen precisos.
Evidencia y un enfoque de evaluación medible
Para evaluar la calidad de ejecución de una manera que puedas verificar de forma independiente, crea una hoja de trabajo consistente que utilice la misma referencia y las mismas marcas de tiempo de eventos en todas las pruebas.
1) Calidad de ejecución del precio (ejecución vs. referencia)
- Calcula la desviación efectiva de ejecución: para cada ejecución, mide la diferencia entre el precio realmente ejecutado y tu precio de referencia.
- Resume utilizando la desviación promedio y la dispersión (por ejemplo, la mediana y un rango percentil). La dispersión importa porque un sistema a veces puede lograr buenos resultados promedio mientras sigue fallando en una fracción significativa de órdenes.
Supuesto para los ejemplos: elige una definición de referencia (por ejemplo, “mejor oferta/demanda al momento del envío de la orden”) y mantenla fija en todo el conjunto de datos.
2) Calidad de ejecución temporal (sensibilidad al retraso y la latencia)
- Mide el tiempo desde el envío de la orden hasta el primer acuse de recibo (si está disponible) y hasta la primera ejecución.
- Compara el retraso de ejecución con el movimiento de precios a corto plazo en la misma ventana. Si la ejecución es consistentemente tardía en relación con los cambios de precios, debes esperar una peor desviación de precio.
Supuesto para los ejemplos: utiliza una fuente de marcas de tiempo consistente y documenta claramente a qué marca de tiempo te refieres (hora de envío, hora de recepción u hora de emparejamiento).
3) Calidad de cantidad y manejo de órdenes (integridad y corrección de la ejecución)
- Realiza un seguimiento de si la cantidad ejecutada coincide con la cantidad prevista y si las ejecuciones parciales ocurren con frecuencia.
- Verifica si los rechazos, modificaciones, cancelaciones o cambios de ruta ocurren bajo condiciones que puedan explicarse por la mecánica en lugar de por la aleatoriedad.
Limitación material y modo de fallo a tener en cuenta: las ejecuciones parciales y el manejo no intencionado de órdenes pueden inflar el costo efectivo incluso si la primera ejecución parece aceptable. Otro modo de fallo común es el retraso causado por el manejo (por ejemplo, limitación de velocidad, colas o pasos de validación) que hace que el precio de referencia quede obsoleto.
Puntos de control realistas de impacto por escenario
- Escenario: Ocurre un movimiento rápido de precios poco después del envío.
- Impacto posible: El deslizamiento efectivo empeora porque el precio ejecutado se compara con una referencia anterior.
- Limitación: Sin una definición de referencia estable y marcas de tiempo consistentes, no puedes determinar si el sistema o el mercado causaron la diferencia.
- Escenario: La liquidez se reduce y el mismo tamaño de orden no puede ejecutarse en los niveles deseados.
- Impacto posible: Ocurren ejecuciones parciales o peores precios de ejecución.
- Punto de control: Compara las ejecuciones en múltiples estados del mercado e incluye el régimen de spread/liquidez como una variable contextual.
Limitaciones, riesgos y qué no concluir
Incluso si calculas métricas sólidas, existen límites:
- Las condiciones del mercado y del proveedor cambian: los spreads, la liquidez y la microestructura varían. Las relaciones observadas históricamente no garantizan el mismo comportamiento posterior. - Los costos ocultos pueden ser difíciles de medir: algunos lugares o sistemas incluyen costos que no son visibles en el precio de ejecución “principal”. Si tu conjunto de datos no incluye todos los detalles relevantes de tarifas y enrutamiento, puedes atribuir mal el costo. - Sesgo de selección: probar solo en períodos favorables puede hacer que la calidad de ejecución parezca mejor de lo que es.