Los mejores productos de datos nacen en los campos.

La mayoría de nuestros pedidos en línea se obtienen de almacenes, no de almacenes. Esto conduce a errores entre lo que se muestra en el sitio y lo que realmente podemos armar en un pedido en  línea .

Debido a la alta tasa de rotación de mercancías en las tiendas y la complejidad de los sistemas de gestión de existencias, se producen errores que pueden detectarse automáticamente. Según nuestro conocimiento de los sistemas y el uso de la ingeniería social, propusimos una solución que encontraría automáticamente productos problemáticos y ajustaría sus existencias antes de publicar en el sitio.

,    « ».    2011 . (  ,   13, 107),       ,   Data- .

«»

   ,   ,   «».       ,  .

•  —  .
•  — ,     .
•  — .
•  — .
•  — 5   .

,   ,      « »,  98%         .

8 000 .  , 40 000   .   , ?   ,   , ,   ,  ,  .   ,      - , , - « ».   ,   ,     -  .

-    ,  —   .

  ,     ,     Data Accelerator.  — data-,   data-driven.  Data Accelerator 126 ,   5      — « »,     .

 ,    ,   ,   . ,    .

  : Data Scientist, Data Engineer, Data Analyst, Product Owner  Scrum-.

:

• ,     (  );
•  eCom,    .

 , .

,    ,  ,  :   . ,   ,   3 , ,    ,   6 . , , ,    …

      ,       . . « » ,   ,   .

,  —    . ,    ,        .   ,     ,   1. , , ,    .   .  .

 — .  ,   . , , .   2500 ,   43,    .        «».

,   excel-,  ,     excel-  :   ,   .   ,  , ,   , , .

,   ,  60%   , .      ,    81%, ,  -, .

MVP.

 6 ,   proof of concept   , ,   ,  .    ,   ,   .

, , ,   ,   ,    — ,   , .    ,     , , .

«-1».

  ,   ,   : « ,   , , , ».     , , « » ,    .     4  , .

   ,   . -,   ,   , - , , .     ,       . -, ,        . ,  ,      .

ML-.

,   ML-,     6 .   ML-?

•    Catboost,   ,     .
•     ,        .
•     ,     ,  ,  ,   ,  ,    .
•   70 .
•     ,   Permutation Importance  ,   Catboost.
•   ,       80/20.
•   ,     .
• ,    ,     ,    train/valid-.
•     DVC,    S3.

  :

• ROC-AUC: 0.68
• Recall: 0.77

 —    .   ,   DataLake   GreenPlum.   ,  MongoDB,  .   GreenPlum  MongoDB   opensource- Apache- Apache AirFlow  Apache NiFi.

Python-,  Kubernetes.     ,   -   Apache Kafka,   ,         Apache Kafka.

  6    ,   15%    12%,   E-com   . ,   ,   .

  ,    ,    .   ,    — ,   ,     .           .

p.s. Avito.Tech, .