Su autor, Juhi Ramzai , habló sobre métodos efectivos de verificación de modelos: PSI (Índice de Estabilidad de la Población) y CSI (Índice de Estabilidad Característica).
Una vez que el modelo se lanza a producción, se debe realizar un seguimiento regular de su rendimiento para garantizar que el modelo aún esté actualizado y sea confiable. Anteriormente, escribí una publicación sobre la validación del modelo y el monitoreo de su desempeño , en la que enfaticé la importancia de estos dos pasos.
Ahora pasemos al tema principal de esta publicación. Aprenderemos todo sobre el PSI (Índice de Estabilidad de la Población) y el CSI (Índice de Características de Estabilidad), que son algunas de las estrategias de seguimiento más importantes utilizadas en muchas áreas, especialmente en el área de evaluación del riesgo crediticio.
Ambas métricas (PSI y CSI) se centran en los cambios en la DISTRIBUCIÓN DE LA POBLACIÓN.
La idea básica detrás de estas métricas es que el modelo de pronóstico funciona mejor si los datos utilizados para entrenarlo no difieren demasiado de los datos de validación / OOT (fuera de tiempo) en términos de condiciones económicas, supuestos subyacentes, estilo de campaña, enfoque y etc.
Por ejemplo, desarrollamos un modelo para predecir la tasa de abandono de los usuarios de tarjetas de crédito en un entorno económico normal. Luego comenzamos a probar este modelo, pero ya en las condiciones de la crisis económica. Es posible que en este caso el modelo no produzca un pronóstico preciso, ya que no podrá capturar el hecho de que la distribución de la población podría cambiar significativamente en diferentes segmentos de ingresos (y esto podría conducir a un alto nivel real de abandono de usuarios). Como resultado, obtenemos predicciones erróneas. Pero como ya entendemos esto ahora, podemos proceder a verificar los cambios en la distribución de la población entre el tiempo de desarrollo (tiempo DEV) y el tiempo actual. Esto nos dará una idea clara de si se puede confiar o no en los resultados predichos del modelo.Esto es exactamente lo que muestran las importantes métricas de monitoreo de PSI y CSI.
Índice de estabilidad de la población (PSI)
Esta métrica mide cuánto ha cambiado una variable en la distribución entre dos muestras a lo largo del tiempo. Se usa ampliamente para monitorear cambios en las características de la población y diagnosticar problemas potenciales con el desempeño del modelo. Si el modelo deja de hacer predicciones precisas debido a cambios significativos en la distribución de la población, este suele ser un buen indicador.
La definición anterior se explica mejor en este artículo de investigación . También proporcioné un enlace al final de esta publicación.
El Índice de Estabilidad de la Población (PSI) se desarrolló originalmente para monitorear los cambios en la distribución entre muestras de tiempo de desarrollo y ad hoc en la evaluación del riesgo crediticio. Actualmente, el uso del índice PSI se ha vuelto de naturaleza más flexible, lo que permite estudiar los cambios tanto en las distribuciones asociadas con los atributos del modelo como en las poblaciones en general, incluidas las variables CSI dependientes e independientes . Veremos esto en la siguiente sección.
El PSI refleja la tendencia hacia el cambio en la población en su conjunto, mientras que el CSI generalmente se enfoca en las variables individuales del modelo utilizadas.
Fuente El
cambio en la distribución de la población puede estar relacionado con:
- con cambios en el entorno económico, como la crisis económica, COVID-19, etc.;
- cambios en las fuentes de datos;
- cambios en la política interna que afecten directa o indirectamente la distribución de la población;
- problemas de integración de datos que pueden conducir a errores de datos;
- Problemas en la programación / codificación, como implementar el modelo o perder algunos pasos importantes en el código para evaluar la calidad del modelo.
Dado que un cambio en la distribución no tiene por qué ir acompañado de un cambio en la variable dependiente, el PSI también se puede utilizar para examinar la similitud / diferencia entre las muestras. Por ejemplo, comparar el nivel de educación, ingresos y estado de salud de dos o más poblaciones en estudios sociodemográficos.
PASOS PARA CÁLCULO DEL ÍNDICE PSI ( Enlace )
- Clasificamos la variable estimada en orden descendente en la muestra estimada.
- 10 20 ().
- .
- .
- 3 4.
- ( 3 / 4).
- 5 6.
EXCEL PSI:
()
- PSI < 0,1 — . .
- PSI >= 0,1, 0,2 — .
- PSI >= 0,2 — . . / .
También puede utilizar el rango de formato condicional: zonas roja, amarilla y verde (zona roja-ámbar-verde). El rojo es una condición de alarma en la que el PSI es más del 20%, el amarillo es del 10-20%, mientras que el modelo debe ser monitoreado y el verde es la etapa en la que el modelo se considera utilizable, es decir < diez%.
Ahora, según el caso de uso, estos umbrales se ajustan según la relevancia comercial, pero la idea sigue siendo la misma: realizar un seguimiento de los cambios en la población.
Índice de estabilidad (CSI)
, . , , .
, .
Cuando el rendimiento del modelo se deteriora, comprobar los cambios en la distribución de las variables del modelo puede ayudar a identificar las posibles causas. Como regla general, esto se hace después de verificar, como resultado de lo cual resultó que el índice de PSI no está en la zona verde (<0.1 en general). De esta forma, puede comprobar qué variables determinan principalmente la distribución de la población.
Si incluso una variable ha cambiado significativamente, o si el rendimiento de varias variables ha cambiado ligeramente, puede ser el momento de volver a entrenar el modelo o reemplazarlo por otro.
Al calcular el CSI, se siguen los mismos pasos que al calcular el PSI. La única diferencia es que la decisión se toma en función de los valores de muestra de la etapa de diseño para una variable en particular (dividiéndolos en rangos y estableciendo los límites de estos valores como umbrales). Luego, al calcular los valores de frecuencia para cualquier muestra de validación / no programada (AD), simplemente aplique los mismos umbrales a los datos y calcule los valores de frecuencia (utilizando la misma fórmula que usamos para calcular el PSI).
EXCEL TABLE OF CSI INDEX
Imagen cortesía del autor
Por lo tanto, el PSI puede ayudar a identificar diferencias en las distribuciones de las poblaciones en su conjunto, si son significativas, y el CSI puede ayudar a reducirlas aún más a unas pocas variables responsables.
Enlace de investigación