Quién será responsable de la calidad de los análisis: QA para Data Warehouse

Confíe en sus ojos y en lo que ve en el Tablero

En Wheely , dependemos en gran medida de los datos para tomar decisiones operativas y estratégicas. Desde el pago de bonificaciones semanales a socios hasta la expansión a otras ciudades y países.

Cada gerente o propietario de producto conoce íntimamente su área y cualquier desviación puede generar dudas. Por lo tanto, se imponen mayores requisitos sobre la confiabilidad de los cuadros de mando y las métricas. Y en el equipo de Analytics nos esforzamos por identificar y solucionar los problemas antes de que se informen. 

Como sabéis, es más fácil de prevenir, por eso decidí abordar el problema de forma sistemática y proactiva. Y, por supuesto, lo primero que hice fue crear un canal de Slack , en el que configuré la entrega de notificaciones sobre cualquier error en nuestras canalizaciones.

Confianza en la relevancia de los mercados de datos

, :

• 10

• 8

• DWH

, QA :

• ,

:

• .yml freshness:

freshness:
   warn_after: {count: 4, period: hour}
   error_after: {count: 8, period: hour}
 loaded_at_field: "__etl_loaded_at"

• SQL-:

select
 max({{ loaded_at_field }}) as max_loaded_at,
 {{ current_timestamp() }} as snapshotted_at
from {{ source }}
where {{ filter }}

• :

, , :

• (edge cases),

• (bottleneck)

:

• : , Out of Memory, Disk Full

• SLA

:

• , + ( )

• CPU

• - IO, network

.

:

• ,

:

+pre-hook: "{{ logging.log_model_start_event() }}"
+post-hook: "{{ logging.log_model_end_event() }}"

, , . - , , , , PRIMARY KEY, FOREIGN KEY, NOT NULL, UNIQUE.

DWH . . .. , .

:

• (NULL) , ?

• (UNIQUE ID )?

• (PRIMARY - FOREIGN KEYS)?

• , (ACCEPTED VALUES)?

QA :

• ,

:

• .yml tests:

- name: dim_cars
     description: Wheely partners cars.
     columns:
         - name: car_id
           tests:
               - not_null
               - unique
         - name: status
           tests:
               - not_null
               - accepted_values:
                   values: ['deleted', 'unknown', 'active', 'end_of_life', 'pending', 'rejected'
                           , 'blocked', 'expired_docs', 'partner_blocked', 'new_partner']   

• SQL-

-- NOT NULL test
select count(*) as validation_errors
from "wheely"."dbt_test"."dim_cars"
where car_id is null
 
-- UNIQUE test
select count(*) as validation_errors
from (
   select
       car_id
   from "wheely"."dbt_test"."dim_cars"
   where car_id is not null
   group by car_id
   having count(*) > 1
) validation_errors
 
-- ACCEPTED VALUES test
with all_values as (
   select distinct
       status as value_field
   from "wheely"."dbt_test"."dim_cars"
),
validation_errors as (
   select
       value_field
   from all_values
   where value_field not in (
       'deleted','unknown','active','end_of_life','pending','rejected','blocked','expired_docs','partner_blocked','new_partner'
   )
)
select count(*) as validation_errors
from validation_errors

-

- - , . -, .

:

• ,

• %

( ), .

QA :

• , -.

:

• SQL ,

• SQL-

• (PASSED) 0 , (FAILED) >= 1

Continuous Integration - DWH

, . DWH . . , , , PROD- PR Merge:

• DEV- PROD-

• (, Out of Memory)

- Continuous Integration (CI). !

:

• master- PROD- DWH  .

:

• CI (, PROD-, 7 )

• feature- master

- DWH

( ) :

• DWH ,

• (, , ) --

, , (, ).

:

• , () .

, :

• , : , , (, , ), (, , ).

• ,

• DWH

drill-down :

, . , :

• ,

• Continuous Integration and Testing

• ( )

, Wheely. , .

, , , «Data Engineer» OTUS, .

4 20:00 «Data Engineer». OTUS , .

:

1. Data Build Tool - DBT

2. The farm-to-table testing framework -

3. Tests - Related reference docs - DBT,

4. How to get started with data testing - dbt discourse

5. Data testing: why you need it -

6. Manual Work is a Bug - DRY