El modelado de datos simplifica drásticamente las interacciones entre desarrolladores, analistas y especialistas en marketing, al igual que el proceso de generación de informes en sí. Por lo tanto, traduje el artículo de IBM Cloud Education sobre el valor del modelado y agregué información por mi cuenta sobre cómo transformar datos para modelar.
Modelado de datos
Descubra cómo el modelado de datos utiliza la abstracción para representar y comprender mejor la naturaleza de los datos en un sistema de información empresarial.
Que es el modelado de datos
El modelado de datos es la creación de una representación visual de todo el sistema de información o parte de él. El objetivo es ilustrar los tipos de datos que se utilizan y almacenan en el sistema, las relaciones entre estos tipos de datos, cómo se agrupan y organizan los datos, y sus formatos y atributos.
Los modelos de datos se crean en función de las necesidades comerciales. Las reglas y requisitos para el modelo de datos se determinan de antemano en base a los comentarios de la empresa, por lo que pueden incluirse en el desarrollo de un nuevo sistema o adaptarse a uno existente.
Los datos se pueden modelar en varios niveles de abstracción. El proceso comienza con la recopilación de los requisitos comerciales de las partes interesadas y los usuarios finales. Luego, estas reglas comerciales se traducen en estructuras de datos. El modelo de datos se puede comparar con una hoja de ruta, el plano de un arquitecto o cualquier esquema formal que contribuya a una comprensión más profunda de lo que se está desarrollando.
El modelado de datos utiliza esquemas estandarizados y métodos formales. Esto proporciona una forma coherente y predecible de administrar los datos dentro o fuera de la organización.
Idealmente, los modelos de datos son documentos vivos que evolucionan con las necesidades de la empresa. Desempeñan un papel importante en el apoyo a los procesos comerciales y en la planificación de la arquitectura y la estrategia de TI. Los modelos de datos se pueden compartir con proveedores, socios y colegas.
, , - . , :
.
.
.
.
-.
, .
. . , .
. : , - . . , (, ), , , . .
. . . agile DevOps-. , . , .
, , -. , , . :
. , , , . .
. , , . , «» , , , .. «» , , .
. , . « » . «», . (UML).
. , , . () . - , .
. — , () . , , , , . , , .
. — , .
(), .
« » . , . IBM Information Management System (IMS) 1966 , . , , (XML) ().
IBM . . 1970 . , . . , .
(SQL) . . , .
ER- . ER- , . , ER-, «-» (Entity-Relationship diagram). ER- , (, ).
- - 1990- . «» — . . - , . .
. ER- , , . OLAP.
— «» «». «» ( ) ( ), . «» «», , .
CASE- , , . :
erwin Data Modeler — , IDEF1X, , .
Enterprise Architect — , , . - .
ER/Studio — , . , .
, Open ModelSphere.
, , , , Google BigQuery, Scheduled Queries AppScript. , SQL, Scheduled Queries . , - .
SQL-, , dbt Dataform.
dbt (herramienta de creación de datos) es un marco de código abierto para ejecutar, probar y documentar consultas SQL que aporta un elemento de ingeniería de software al proceso de análisis de datos. Ayuda a optimizar el trabajo con consultas SQL: utilice macros y plantillas JINJA para no repetir los mismos fragmentos de código por centésima vez.
El principal problema que resuelven las herramientas especializadas es la reducción del tiempo necesario para soporte y actualizaciones. Lo hace a expensas de la facilidad de depuración.