En Dropbox, creemos que la gestión de incidentes es fundamental para nuestro sistema de confiabilidad. Y aunque también utilizamos métodos proactivos como la ingeniería del caos, la forma en que respondemos a los incidentes tiene un impacto significativo en la experiencia de nuestros usuarios. Durante una falla potencial en el sitio o un problema con el producto, cada minuto cuenta.
Los componentes clave de nuestro proceso de gestión de incidentes existen desde hace varios años, pero vemos oportunidades para el desarrollo continuo en esta área. Los cambios que hemos realizado a lo largo del tiempo incluyen mejoras tanto tecnológicas como organizativas y de procedimiento.
En esta publicación, detallaremos algunas lecciones que Dropbox ha aprendido de su experiencia en la gestión de incidentes. Lo más probable es que no todos los puntos se encuentren en el manual sobre la estructura de la gestión de incidentes, y no debería pensar que estas mejoras son universales para ninguna empresa. (La utilidad de estas lecciones depende de su pila de tecnología, el tamaño de su organización y otros factores). En cambio, esperamos que este artículo sirva como ejemplo de cómo puede analizar sistemáticamente la respuesta a incidentes de su empresa y mejorarla para satisfacer las necesidades de sus usuarios.
1. Requisitos previos
Dropbox SEV' ( SEVerity — ), , SaaS-. ( , , ).
SEV' , , , . - , Dropbox. — - , SaaS- — , SEV' . .
SEV', -. — , , , . , , , Dropbox . , , , "", . 99.9% , SLA, 43 . — 99.95% ( 21 ).
, . — -, , . , , SEV' . .
2. SEV
SEV Dropbox , SEV, , .
SEV :
SEV, ; — , , .
SEV 0-3, . 0 — .
IMOC (Incident Manager On Call — ), , , SEV- .
TLOC (Tech Lead On Call — ), .
SEV, , BMOC (Business Manager On Call — ), - , . , , , .
Dropbox : DropSEV. SEV, . Slack , email- , Jira , , . Slack email- SEV. — .
DropSEV , .
: , ( )
: , /
: ,
21 ? - , , . , .
3.
,
Dropbox , . , . — Vortex, . Vortex , , 10 .
2018 , . , " 21 ", . , Vortex PagerDuty. Vortex , .
, , : , , ?
Vortex — , , . , , .
, , . RPC- Courier, . , Courier , . Courier , Dropbox (Go, Python, Rust, C++, Java).
, , , - . . — , , - . , , .
PagerDuty , " SEV". , , , , , SEV .
, , . , DropSEV ( , ) , SEV . , "" SEV DropSEV, , SEV.
, , " SEV?" - . , - Magic Pocket, , Get Put . , :
?
?
? ( , , , )
? SEV?
, SEV . , — . SEV , IMOC BMOC, .
SEV, . - , DropSEV , SEV, . , , , , . , SEV .
?
4.
, /
. " " , . PageDuty .
.
, , 21 : PagerDuty ? Dropbox :
SEV-, , PagerDuty . , PagerDuty API, , .
, - . , , . , ( ). , .
( 2021), PagerDuty On-Call Readiness Report( ), . , Dropbox, , .
, dropbox.com, , . , , . , .
, , , . :
RPC
(QPS)
(, , )
, , , , , . , , . , . ( , ).
— . ? — , . Grafana, ( , DRT, ) , . .
Dropbox — . Dropbox . . python-.
:
, SEV-, .
, , ETA .
.
, -, .
.
2020 , , Slack- .
, . : SEV- . , , SEV, , — . , SEV. , , .
, , , " ", "" . , , . () SEV, . , , , .
, , , . , " ". , , , Slack.
: , , .
5.
, ,
, " " . , ? , , , ( )
Dropbox 99.9% SLA, . , SEV. , , : " 20 ?"
, . - , , . , , , , . :
- . , , DRT, , .
, . , , .
, , , , , . , , .
, , , , . " 20 " , , .
. , , , . , , DRT . , ?
99.9
SLA , , . ?
, , :
SLA, ,
.
SLA . , , .
. . , Dropbox . , .
( ) . — ; , . — , . Dropbox , , .
" SEV ?" , , . , .
SEV Dropbox. , , , SEV , . , . SEV , ; SEV, dropbox.com . , .
, , - ( , - ). , ~20 -, . , , , SEV-. , — . , , , , .
, . "" , , :
, ?
(, , , ) ?
, , ? — , , — ?
?
6.
Dropbox — . SEV , , , . , ; SEV , , .
. , .
Dropbox "" . , . , , , , . , , SEV .
SEV, , . . — , , , — , .