Expectativa y realidad: ¿por qué las métricas de los sistemas de aprendizaje automático disminuyen en las ventas? Casos de la obra de Celso

imagen



, ML- , . ML-, , . - , , ML-.



, ( ).



Comencemos con la razón más común de la degradación de las métricas en la producción: los errores técnicos . Por ejemplo, las predicciones del modelo en pruebas fuera de línea y en producción pueden diferir debido a la diferencia en el código utilizado para preprocesar imágenes. Hay algunas formas sencillas de protegerse de esta vergüenza:



  • . (, , ) , . . : , - , ( – , – ).



    imagen



    • -. , -. , , -, , ML- .


    imagen



    • . , , ML-, , (, ). , , COVID-19 . , , . ( ).


    — , . .



    , (ROC-AUC = 0.53, ), . , ML- . , ML- - , , .



    , . , , . , , , - . ML- Out-of-Distribution . , , ML-. .



    imagen





    . , , (, ). , (, ML- - ) . ML covariate shift concept drift.



    , , ML- , . , , , , .



    , , . ( , , ) , . , - . , , : .



    , . -. - . ML- , , .



    , . – , .



    , ( ) ML- , - . ML- . -, , .



    , ML- – ML-. , , :



    • ( -, , )
    • ML- Out-of-Distribution-
    • ,
    • , –



All Articles