Tarde o temprano, el analista se enfrenta al problema de organizar los datos. Cada vez hay más, la estructura ya no es transparente y las mismas consultas SQL deben reescribirse varias veces. Para resolver este problema, puede utilizar dbt, una herramienta que abre un nuevo enfoque para la transformación y el modelado de datos. Debajo del corte hay una traducción del excelente artículo de David Crewitt sobre qué es dbt y cómo ayuda a los analistas a facilitar su trabajo.
dbt (herramienta de creación de datos) es un marco de código abierto para ejecutar, probar y documentar consultas SQL que aporta un elemento de ingeniería de software al proceso de análisis de datos.
Esta es una gran pieza de la caja de herramientas perezosa para ayudarlo a nunca repetirse al analizar datos.
Reemplazo de una consulta guardada
Cada consulta SQL merece un buen hogar. En dbt, las consultas SQL están estructuradas y organizadas en carpetas de proyectos, por lo que todos los miembros del equipo siempre saben dónde encontrarlas:
Cada vez que necesite ejecutar consultas, utilice el comando dbt run.
Este comando toma una colección de modelos SQL en el proyecto dbt y los actualiza en el almacén de datos.
Sencillo pero eficaz.
Esto significa que ya no necesita guardar fragmentos de consultas SQL en su escritorio o en cualquier otro lugar como un cofre del tesoro.
— . - , .
dbt — , .
ref(‘ ‘)
dbt * * SQL-, {{ ref(‘model name’) }}.
:
, . dbt , , :
/admin
/base
/join /
/math (, ) ( . .)
/visualization + , .
, .
« Google Analytics?»
base -> google-analytics.
« ?»
Math -> cohort-analysis.
SQL-. dbt — Monster Queries™, .
SQL
dbt SQL- : + JINJA.
SQL- .
, CASE 15 :
CASE WHEN x = y THEN z
WHEN 2x = 2y THEN 2z
--… .
— , :
dbt SQL .
dbt dbt_utils, .
, CIFL :
JINJA
, : FOR, IF-THEN . .
dbt SQL-, JINJA.
, SQL- , .
1 №2 №9.
2 №4 №11.
, « » .
dbt :
dbt , JINJA:
, , , , . «» .
dbt + Git
dbt + Git . «Pull Requests» «Issues». SQL- Slack/Notion/email.
:
SQL- , . — .
, . , .
SQL , .
SQL-
« ?» – .
dbt .
Fishtown Analytics (, dbt) dbt Cloud, hosted dbt .
dbt Cloud , .
, — $50 .
«»
« ?»
« ?»
— . :
, .
, , , , 100% , , .
, — , , , .
, : , Google BigQuery Google Data Studio.
dbt :
`dbt docs` , SQL .
dbt + .yml .
BigQuery:
Data Studio:
(Snowflake . .) (Looker . .) . , .
?
, , . , , .
dbt .
, - , dbt . JOIN , dbt .
, SQL- , dbt .
— BigQuery, Snowflake PostgreSQL — , SQL. BigQuery Snowflake Redshift BigQuery, SQL, .
dbt ! . dbt . dbt , ( , , MS SQL).
CIFL , , , .
dbt
Si está listo para abordar la implementación de dbt en su equipo, lo siguiente puede ayudar:
Curso gratuito " Introducción a BigQuery SQL ", que incluye una introducción al modelado de datos con dbt.
El curso Build Your Data Agency recientemente lanzado para profundizar en el análisis de datos basado en dbt.