Hoy en día, las bases de datos de la clase Massive Parallel Processing son el estándar de la industria para almacenar Big Data y resolver varios problemas analíticos basados en ellos.
Los casos de uso de las bases de datos mpp son diversos: pueden ser tanto un "caballo de batalla" de BI corporativo como una herramienta para centralizar datos de cientos de fuentes en una DWH, e incluso pueden utilizarse para la interacción "activa" con modelos ML que trabajan en un ambiente productivo.
Esta clase de tecnologías es un elemento necesario en el conjunto de herramientas de un ingeniero de datos moderno.
En una lección de demostración, analizaremos en detalle qué es una base de datos mpp, qué soluciones hay en el mercado hoy en día e incluso profundizaremos en un ejemplo práctico del uso de uno de los sistemas mpp más innovadores de la actualidad: ClickHouse.
Invitamos a todos a unirse a la lección de demostración "Introducción a las bases de datos MPP utilizando ClickHouse como ejemplo".
IT- . , , , . , , , , , .
. ( ) , ( ). , , , SQL-, , , — data science , ..
, , , , . , , 20 , . , .
…
, . , !
, - , . Gartner, 2019 66 , 24% — — . Pitchbook, 30 5 8 35 .
, 2015-2020 .
: , , , a16z, , , , . , a16z, : https://a16z.com/investments/.
. , Linkedin 2019 . NewVantage Partners 60% Fortune 1000 , 12% 2012 , McKinsey .
, ( ) - — , .
- , . , , . , .
, : () , () , .
:
Unified Architecture for Data Infrastructure
: (OLTP), SaaS- . , .
:
— , . . - , — .
, .
, AI/ML ?
: - ( ) , ( ).
. (data warehouse). -, SQL ( Python ). (data lake) . , , , . , Java/Scala, Python, R SQL.
, ( ). , , — , , , ACID-, SQL . .
: ? ? , - . , - , .
, , , - , SaaS . , . (, ETL-) .
, . ( ) .
, «» (blueprints) — , , , , .
. -, . , , , . AI ML .
1: -
- - - , , .
. , .
, , SQL ( Python) .
, , . , , data science, / .
2:
, , , Hadoop-
, .
, .
-, , AI/ML, , / , ( , ) (Java/Scala, Python, SQL).
, , , . , - , .
3: .
, , .
, , . , .
, - (. . ), .
, , , / . , , , , - .
. . , -, , , , . , .
, , , , , , , .
- "Data Engineer".
« MPP- ClickHouse».