Respuesta directa
Un ejemplo práctico de sobreajuste muestra cómo un modelo puede parecer preciso en los datos con los que fue entrenado, mientras que tiene un rendimiento deficiente con datos nuevos. El sobreajuste no está garantizado; es un riesgo que aumenta cuando un modelo se vuelve más complejo en relación con la cantidad y la variabilidad de los datos disponibles.
Mecanismo o definición
El sobreajuste significa que el proceso de aprendizaje se ajusta a las idiosincrasias del conjunto de datos de entrenamiento—ruido aleatorio, peculiaridades o correlaciones accidentales—en lugar de aprender relaciones estables que también se mantengan para datos futuros.
Una forma sencilla de pensarlo:
- Ajuste de entrenamiento (dentro de la muestra): qué tan bien se ajusta el modelo a los datos históricos que vio durante el entrenamiento.
- Ajuste de prueba (fuera de la muestra): qué tan bien se ajusta el mismo modelo fijo a datos nuevos que no utilizó para el entrenamiento.
Si el ajuste de entrenamiento mejora a medida que aumenta la complejidad del modelo, pero el ajuste de prueba se mantiene igual o empeora, ese patrón es consistente con el sobreajuste.
Evidencia o ejemplo (con todos los supuestos)
Considera una situación en la que debes predecir un valor objetivo y a partir de una entrada x utilizando un conjunto de datos muy pequeño.
Supuestos
- Tenemos 4 observaciones etiquetadas para el entrenamiento: (x, y): (1,2), (2,4), (3,6), (4,8).
- Compararemos dos modelos:
- Modelo A: una línea recta forzada a pasar por el origen, y = m x.
- Modelo B: un polinomio de grado 3 que coincida exactamente con los 4 puntos de entrenamiento.
- Definimos el error como error cuadrático medio (MSE) en un conjunto de prueba separado.
- Suponemos que los puntos de prueba son: (x, y): (5,10) y (6,12).
- Suponemos que el Modelo B mantiene su forma polinómica ajustada sin cambios al evaluarse en los puntos de prueba.
- No añadimos costos de transacción, deslizamiento ni restricciones de ejecución (para mantener el ejemplo puramente matemático).
Paso 1: Ajustar el Modelo A (lineal a través del origen)
Los datos de entrenamiento siguen y = 2x exactamente, por lo que la mejor m para el Modelo A es m = 2.
- Error de entrenamiento para el Modelo A: 0 MSE.
En el conjunto de prueba:
- Para x=5, y predicho = 2·5 = 10 (coincide con el real)
- Para x=6, y predicho = 2·6 = 12 (coincide con el real) Por lo tanto, el error de prueba para el Modelo A también es 0 MSE.
Paso 2: Ajustar el Modelo B (polinomio de grado 3 que coincida exactamente con el entrenamiento)
Debido a que el Modelo B es lo suficientemente flexible, puede coincidir perfectamente con los 4 puntos de entrenamiento, por lo que:
- Error de entrenamiento para el Modelo B: 0 MSE.
Sin embargo, este modelo no “conoce” la regla subyacente. Con solo 4 puntos de entrenamiento, hay infinitos comportamientos fuera de esos puntos; muchos ajustes de grado 3 coincidirán con el entrenamiento mientras difieren en los puntos de prueba. En este escenario práctico, supongamos que el polinomio de grado 3 aprendido implica predicciones en el conjunto de prueba de:
- x=5 → y predicho = 9
- x=6 → y predicho = 13 (Estos valores son consistentes con la idea de que la flexibilidad adicional puede distorsionar la extrapolación.)
Entonces, el MSE de prueba para el Modelo B es:
- Errores: (9−10) = −1 y (13−12) = +1
- Errores al cuadrado: 1 y 1
- MSE = (1+1)/2 = 1
Qué muestra esto
- Ambos modelos tienen error de entrenamiento cero.
- El Modelo A generaliza en este escenario.
- El Modelo B puede generalizar mal incluso con error de entrenamiento cero.
La lección conceptual es por qué el sobreajuste es plausible: un modelo más complejo puede coincidir exactamente con los patrones de entrenamiento, pero eso no garantiza que los mismos patrones existan en datos futuros.
Limitaciones y riesgos
- Sin garantía a partir del ajuste histórico: un ajuste de entrenamiento perfecto no implica rendimiento futuro. La relación puede ser accidental o específica de un régimen.
- Los conjuntos de datos pequeños amplifican el sobreajuste: con menos puntos de datos, muchas funciones complejas diferentes pueden ajustarse al entrenamiento mientras difieren en otros lugares.
- Riesgo de fuga de datos: si la información del período de prueba influye accidentalmente en el entrenamiento (incluso indirectamente), los resultados de la prueba pueden ser excesivamente optimistas.
- Cambios de régimen y ruido: si el proceso generador de datos cambia, la relación “estable” puede desaparecer.
- Las opciones de evaluación importan: diferentes divisiones de entrenamiento/prueba, métricas y definiciones de error pueden cambiar si observas sobreajuste.
Verificación o siguiente pregunta
Para verificar de forma independiente si está ocurriendo sobreajuste, compara los errores dentro de la muestra y fuera de la muestra mientras controlas la complejidad:
- Comienza con una clase de modelo más simple.
- Aumenta la flexibilidad gradualmente.
- Observa si el error de entrenamiento disminuye pero el error de prueba aumenta.
Una siguiente pregunta práctica es: ¿Qué tan sensibles son los resultados a la división específica de entrenamiento/prueba y a la métrica de evaluación?