Lo que quieren las conferencias: reproducibilidad de experimentos en ciencia de datos

Las principales conferencias científicas piden la reproducibilidad de los experimentos. Y esto es necesario para aumentar la credibilidad del trabajo, para extraer valor (reutilización y cita), bueno, y la "tendencia" ( según una encuesta de la revista Nature ).

Las expectativas están creciendo, en 2021 ya 9 de cada 10 conferencias ofrecen a los autores para verificar la reproducibilidad. Aprobar la prueba, completar un cuestionario, traer un testigo, etc. 

De qué estamos hablando, por qué es necesaria la reproducibilidad, qué problemas deben resolverse, lo discutiremos en este artículo. 

Experimentos en aprendizaje automático

. .

, . , train, test .

, , , . , , (pipeline) .

, .

, AAAI 2014, AAAI 2016, IJCAI 2013 IJCAI 2016 , 80% — !

,

2021 . GuideToResearch (Top 100), Machine Learning, Data Mining & Artificial Intelligence. .

:

• Not found — CFP .

  
  
  
  
  

• Reminder — .

  
  
  
  
  

• Encouraged — , .

  
  
  
  
  

• Required — .

  
  
  
  
  

? 

, . , , , . , , . ( NeurIPS, Gundersen et al.). 

, , .

, . , 2020-2021 , , . ACM , :

(repeatable experiment / )

, .

(artifact) , , , , , .

(reproducible / )

, .

(replicable / )

.

, « », .

.

, - https://en.wikipedia.org/wiki/Reproducibility

XX :

“non-reproducible single occurrences are of no significance to science”

— Popper, K. R. 1959. The logic of scientific discovery. Hutchinson, London, United Kingdom.

. .

—

.

: , ? -, , (, ). , ?

: , , . , ? ? , , !

, ?

. , arxiv.org paperswithcode.org. ? ? ? ? . « », — .

— provenance

. ! Prov-ML . UML 2 ( , << «).

. ? ? ? ? ?

. , , , . , , .

— ?! 

. , , , .

— , , code style, , , .

— //, / ( ), . . , (. ).

, « » StackOverflow StackExchange. « , . — , . , , , , , , .»

, , -, .

,

Jupyter Notebooks, GitHub, , 4% .

4%, !

, , : 

A Large-scale Study about Quality and Reproducibility of Jupyter Notebooks.

— . requirements.txt, setup.py. - .

— . , .

— , , .

, , , :

• (40%)

  
  
  
  
  

• (13%)

  
  
  
  
  

• ( matplotlib ) (52%)

  
  
  
  
  

• (3%)

  
  
  
  
  

• (3%)

  
  
  
  
  

• . python (4%)

  
  
  
  
  

• (27%)

  
  
  
  
  

? , R 44% ( , ). , .

?

. .

, « » (. « DL» , google it). 

. .

— . (a.k.a. MLOps), (Exploratory Data Analysis, EDA) , , - .

— . , , .

— , , - ( , )!

ML — , (hardcore).

P.S. FAIR

, (Findable), (Accessible), (Interoperable) (Reusable) (FAIR) 2016 , .

[1] .

[2] .

[3] .

[5] Jupyter Notebooks. 

[6] .

[7]  , Best Practices for Scientific Computing. 

[8] Top Ten Reasons (not) to Share your Research Code .

[9] Un artículo con resultados de encuestas que tiene un mayor impacto en la reproducibilidad, Comprensión de experimentos y prácticas de investigación para la reproducibilidad: un estudio exploratorio