¡Habr, hola!
En el laboratorio de modelado de sistemas naturales del Centro Nacional de Desarrollo Cognitivo de la Universidad ITMO, estamos investigando activamente el uso del aprendizaje automático automático para diversas tareas. En este artículo, queremos hablar sobre el uso de AutoML para una previsión eficiente de series de tiempo, así como cómo se implementa en el marco de código abierto FEDOT . Este es el segundo artículo de una serie de publicaciones dedicadas a este desarrollo (el primero de ellos se puede encontrar aquí ).
¡Todos los detalles están debajo del corte!
Aprendizaje automático automático (AutoML)
La ciencia de datos moderna se ha convertido en una parte muy popular de la esfera de las TI. Los expertos recopilan datos, los limpian, prueban diferentes modelos, realizan validaciones y eligen los mejores. Y todo ello con el fin de brindar al negocio la solución que más valor le aportará. Al mismo tiempo, algunas etapas de la obtención de tales soluciones son cada vez más automatizadas cada año. Como regla, esto se aplica a las partes más rutinarias. Esto libera tiempo a los expertos para tareas más importantes.
Entonces, imaginemos que un especialista se enfrenta a la tarea de crear un modelo de aprendizaje automático y "envolverlo" en un servicio web para que este mismo modelo haga un trabajo útil: predecir algo. Pero antes de llegar a la etapa de entrenamiento del modelo, debe seguir varios pasos, que incluyen:
- recopile datos de muchas fuentes, límpielos;
- , , ;
- , ;
- .
, , . , , , , . , - , . — MLFlow, Apache AirFlow . — - workflow management system (WMS) . .
, ?
, “”, . “” ML .
. , , open-source, TPOT, AutoGluon, MLJAR H2O. AutoML “ , ( ) ”. , . ( ) , : TPOT FEDOT.
SaaS-, DataRobot, GoogleAutoTables, Amazon SageMaker, ML , AutoML.
, AutoML : . , , . , .
, , open-source . , — ( ).
, . : , . : , , — . AutoML legacy — , ( “ ”) : , .
, - , — . open-source — AutoTS. “” — AR ARIMA. “” , ( ), . , , pmdarima.
— AutoML- . . , , H2O, . , open-source , , , . .
AutoML-?
, , . :
- (, , — , — );
- ;
- () ;
- ( -);
- in-sample out-of-sample ;
- — ?
, , , — .
AutoML . , , data-driven , .. , .. - .
AutoML, . , open-source AutoML , — FEDOT.
, , — . , , , (, ). .
, , . , , .. , , , . , , baseline .
, , (, , ).
. , , . FEDOT, , .
, FEDOT , :
- — , : (, , ) , ;
- — , . . Primary , Secondary — ;
- — , . FEDOT ( Chain).
:
, FEDOT
, , , .
. “”, — . — . — “” AutoML. , . , — .
FEDOT
, . FEDOT- . ? , , ? ?
! .
. — , . , . , , :
“lagged-“ . FEDOT “lagged”. — .
1 . , . muli-target . :
. 3 lagged
. , AR ARIMA. , .
: — . — . ⋅.
, , . — , , . , .
14 . , — .
, . , . , , jupyter notebook’.
— . FEDOT :
- , ;
- ;
- .
, , , . . . . .
, ,
lagged-, , ridge- (. ), “”.
, — “”. , , .
. , , . , , . ( ) . — — . . , , , . ( ) , — .
:
! “” . . . () (). FEDOT.
, :
(, — )
.
AutoML. FEDOT , API.
, “”. AutoML :
- — . , , . , , “” . ;
- — , , . , .
:
.
. : (MAE) (RMSE): MAE — 100.52, RMSE — 120.42.
, : ?
: . . 14 . 14 ( 42). in-sample .
, out-of-sample in-sample :
. in-sample out-of-sample
, 14 . 28 — 2 14 . , (out-of-sample).
, in-sample . ( ). , , .
FEDOT — 3- 14 . . . , , .
14 .
. , , .
( ). , ,
, . , , , . , .
— K- , . , . K- . — .
, , , .
, “” ,
, — , 1000 ⋅, 0. . (, ) . K-nn . , , : MAE — 88.19 RMSE — 177.31.
, - . 5 . , , .
: . , , . , -, ( ). : . , FEDOT , . !
FEDOT open-source — AutoTS pmdarima. Jupyter notebook , , . , . 3 , . ( - ):
| ∓ | RMSE∓CKO | |
|---|---|---|
| pmdarima | 155∓1 | 196∓1 |
| AutoTS | 198∓22 | 236∓41 |
| FEDOT | 110∓14 | 170∓26 |
:
, FEDOT “ ”.
, , AutoML. , ML-, .
AutoML FEDOT: , . FEDOT .
:
AutoML, FEDOT!
Trabajó en el artículo: Mikhail Sarafanov , Pavel Vychuzhanin y Nikolai Nikitin .