Si su puesto es ingeniero de datos, es posible que haya encontrado un sesgo de información ofensivo. El tema de la ciencia de datos se cubre activamente, hay muchos materiales útiles sobre él. Y trabaja en un campo relacionado, donde también surgen muchas preguntas importantes, pero se dice mucho menos sobre estas preguntas.
, , 9-12 SmartData. - : data scientists, - , .
- , , . , , , .
, 2017- « SmartData», 2018- SmartData. : « , , ». : !
, , . , , . , data science, :
, , , . , : « , , , - …»
, SmartData 2020? , , . , :
Streaming
- Flink
- Spark
- Kafka
, , noSQL, SMP/MPP- DWH:
- Hive, Impala, Presto, Vertica, ClickHouse, Cassandra
- Teradata, Redshift, GreenPlum, exadata
- MSSQL, PostgreSQL
- MongoDB, DynamoDB
- S3, ADLS, GCS, HDFS
DWH
- Ad-hoc reporting
- Hadoop
Data governance
- Data security
- Data quality
- Metadata catalog management
- Master data management
ETL
- Spark
- Hadoop MapReduce
- Sqoop
- Performance analysis and optimization
MLOps
- Airflow, NiFi, Luigi, Azkaban, Oozie etc
- MLflow
-
- - , data engineer
- CI/CD
SmartData
Call to action
? :
SmartData!
