Una vez trabajé como ingeniero de datos en una startup. Creció rápidamente y en algún momento decidió comprar una gran empresa. Había más de cien empleados allí, resultó que, casi todos de la India. Mientras nuestros desarrolladores jugaban con código exótico que no se podía descifrar de un plumazo, el departamento de monitorización de la India me llamó la atención.
Para monitorear la red y los servidores, puede usar una variedad de software. Lo principal es estar seguro: si algo sale mal, una alerta funcionará. Verá una notificación y tendrá tiempo para arreglar todo. Tenían su propia idea de seguimiento. Imagínese varias salas con mesas, sillas y enormes plasmas en las paredes, casi dos docenas de personas están sentadas dentro. En cada monitor, se muestran gráficos multicolores y junto a él se pegan trozos de papel con números de teléfono.
El trabajo de estas veinte personas era sentarse y mirar los gráficos, y si de repente la línea resultaba ser más alta que la pegatina pegada al lado, llamar al número de teléfono que está escrito allí y hacer sonar la alarma. Aquí se sentaron y observaron sin detenerse.
La compra de la empresa no fue cara, pero mantener una infraestructura de este tipo costó un dinero exorbitante. Los indios utilizaron la costosa Vertica, donde, además de pagar por el hardware, también tuvieron que desabrocharse para obtener una licencia. Decidimos intentar mudarnos a ClickHouse. Es prácticamente un análogo gratuito de Vertica. Ambos productos funcionan con un principio similar: DBMS en columnas con fragmentación, con partición de datos.
Y esa fue otra aventura.
Característica asesina de ClickHouse: por supuesto, ahorra dinero
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .