Los trucos elegantes en un cuaderno en una computadora personal (computadora portátil) son buenos e interesantes. Pero tan pronto como se trata de ejecutar código en un ciclo productivo, inmediatamente aparecen muchas restricciones en el formulario:

• la cantidad de hierro disponible;
• requisitos de desempeño;
• estabilidad;
• cumplimiento de los requisitos de SI;
• … (Agregue especias al gusto).

Hoy en Rusia hay una fase tal que el lenguaje Python se posiciona como una "bala de plata" para las tareas de ciencia de datos. Parece que tal tesis fue presentada por aquellos que venden cursos sobre DS en Python. Y luego se fue el volante. En general, esto es bastante normal: casi todos los procesos del mundo físico son oscilatorios.

Pero, sin embargo, en este bombo, se habla poco de ellos. Hay una serie de momentos molestos en Python, incluso en tareas básicas de DS, que complican enormemente su uso en un circuito productivo.

Problema 1

El nombre de este problema es BlockManager



. Este es uno de los pilares de la arquitectura pandas



. Manifestado externamente en el hecho de que:

• la memoria consume "como si no fuera en sí misma";
• el tiempo de ejecución del código depende de los estados previos del intérprete y de la secuencia de operaciones y puede variar en varios órdenes de magnitud.

, . .

, , :

• 'The one pandas internal I teach all my new colleagues: the BlockManager';
• BlockManager



pandas
  
  
  
  Wes McKinney 'What is BlockManager and why does it exist?';
• Wes McKinney 'Apache Arrow and the "10 Things I Hate About pandas"'.

2

pandas



+ sql



/spark



( — ) data.table



+ Clickhouse



( data.frame



). Database-like ops benchmark. , .

3

Story-telling . Literate Programming. . python



, , Rmarkdown



.

Está claro que nuestras tendencias están formadas por cursos y requisitos para vacantes en hh.ru. Pero si hablamos de resolver problemas prácticos en una empresa, entonces usar el paquete R



+ Clickhouse



resulta mucho más rentable. También puede agregar a este clip golang



, también una gran herramienta.

Fin, saca tu napalm.

Publicación anterior - "R, Monte Carlo y problemas empresariales, parte 2" .