En el artículo anterior, describí los problemas que encontramos al comienzo de la formación de los procesos de control de calidad en nuestro repositorio, así como los primeros pasos para solucionarlos. En este artículo te contaré cómo manejamos los problemas restantes, qué herramientas usamos y cuáles son nuestros planes.
¡Entonces vamos!
, :
.
.
.
.
.
, , flow.
(vial, live test)
vial live — ETL-. , test- , vial. , vial , - test.
: .
: , .
:
;
test - .
test?
-, test . , . , , , - , , ETL- . .
-, vial . , ( ) vial prod. test.
, test’ .
test flow ?
, :
;
;
.
, .
QA- / - . ( ).
, - - . test- , . .
, .
, . . .
, .
, , , , .
— -, , QA-, , , .
?
.
.
.
.
.
.
. , , . , .
— , .
, — , vial- - .
20:30, . , Jira «». , . .
QA ( , , ) .
vial , . slack-.
, ! .
, :
;
.
, . . .
, ETL- , ETL- , .
.
Meta-review
SAS Data Integration Studio. SAS- — . , SAS- , .
, , , . , GP, . .
Package-review
— VCS -, , , , .
Package-review -. , , , , , , . package-review -, , .
Diff-review
python-, diff-.
Log-review
.
, . python + pytest , :
.
, .
Allure.
: . , ETL- , . : .
?
Static — , ETL-.
BI — SAP BO .
— ETL- .
Work — / , .
.
, :
.
.
.
. ?
MG ( ), , .
vial, .
, ( DB- ), — - .
:
.
80—90%.
.
, , BI , .
, python, SQL-, .
?
ddl(‘_’) — DDL- , .
profile(‘_’) — ( , . .).
dq_check(‘_’, ‘’) — , NULL , .
compare_(‘1’, ‘2’, ‘’) — , .
Compare() , , .
, (12 987 767 234 ) , order_id 9 458 234 .
ETL- — , — .
compare() . : , ( ).
- Allure
Allure - , , , , . , vial, -.
, . , . : , . .
python, QA- , .
. , — .
QA-, . . , .
flow.
:
— vial .
— . , .
— vial/live, live — .
— .
( , ) — , .
, , , — .
, — QA.
, .
?
QA.
QA — QA SRE.
.
.
vial, . , .
, , SQL- ( ), ETL-, .
, . QA .
, , .
: . .
DWH , .
:
, : , / , , . .
: , , . .
, .
, .
, QA , . , . .
, !