Desarrollamos la interfaz más conveniente * del mundo para ver registros

Si alguna vez ha utilizado interfaces web para ver registros, probablemente haya notado cómo, por regla general, estas interfaces son engorrosas y (a menudo) no muy convenientes ni receptivas. Puede acostumbrarse a algunos, algunos son completamente horribles, pero me parece que la razón de todos los problemas es que abordamos la tarea de ver los registros de manera incorrecta: estamos tratando de crear una interfaz web donde la CLI (interfaz de línea de comandos) funcione mejor. Personalmente me siento muy cómodo trabajando con tail, grep, awk y otros, y por lo tanto para mí la interfaz ideal para trabajar con logs sería algo similar a tail y grep, pero que al mismo tiempo podría usarse para leer logs que provengan de muchos servidores. ... Eso es, por supuesto, ¡léalos desde ClickHouse!

* según la opinión personal del habrapuser tú Molas

Conoce a logscli

No se me ocurrió un nombre para mi interfaz y, para ser honesto, existe más bien como un prototipo, pero si desea ver la fuente de inmediato, bienvenido: https://github.com/YuriyNasretdinov/logscli (350 líneas de código Go seleccionado) ...

Capacidades

Mi objetivo era crear una interfaz que parezca familiar para aquellos que están acostumbrados a tail / grep, es decir, para admitir las siguientes cosas:

1. Ver todos los registros, sin filtrar.
2. Deje cadenas que contengan una subcadena fija (bandera -Fy grep).
3. Deje las líneas que coincidan con la expresión regular (bandera -Ey grep).
4. De forma predeterminada, los escaneos están en orden cronológico inverso, ya que los registros más recientes suelen ser los primeros de interés.
5. ( -A, -B -C grep, N , , ).
6. , ( tail -f | grep).
7. less, head, tail — ; , ; SIGPIPE , , tail, grep UNIX-.

, - ClickHouse. , lsd kittenhouse, .

. , . , — , ClickHouse ( ~1 ).

, :

CREATE TABLE logs(
    category LowCardinality(String), --   ()
    time DateTime, --  
    millis UInt16, --  (   ,  ..):  ,   ,       
    ..., --   ,   ,  ,   
    message String --  
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

, - , , Amazon 2015 . , , , .

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

, , .

ClickHouse full scan , , , . HTTP- , HTTP: send_progress_in_http_headers=1. , Go , HTTP 1.0 ( 1.1!) ClickHouse, TCP- ClickHouse, GET /?query=... HTTP/1.0\n\n - , .

ClickHouse

ClickHouse ( 2019 ?) ORDER BY,

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

, message "something", .

, , ClickHouse , , . cancel_http_readonly_queries_on_client_close=1.

SIGPIPE Go

, , some_cmd | head -n 10, some_cmd , head 10 ? : head , pipe , stdout some_cmd , , «». some_cmd pipe, SIGPIPE, .

Go , SIGPIPE "signal: SIGPIPE" , , SIGPIPE , , :

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

, - (, , ), grep -A, -B -C, , , .

, ClickHouse, , , ( , ):

SELECT time,millis,review_body FROM amazon
WHERE (time = '_' AND millis < _) OR (time < '_')
ORDER BY time DESC, millis DESC
LIMIT __
SETTINGS max_threads=1

, ClickHouse , CPU ( ~6 ).

, () , , timestamp, .

logscli ?

Amazon, , :

#  ,    walmart
$ logscli -F 'walmart' | less

#    10 ,   "terrible"
$ logscli -F terrible -limit 10

#     -limit:
$ logscli -F terrible | head -n 10

#   ,   /times [0-9]/,   vine     
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

#      "panic"  3   
$ logscli -F 'panic' -C 3 | less

#       "5-star"
$ logscli -F '5-star' -tailf

( ) github https://github.com/YuriyNasretdinov/logscli. ClickHouse.