¿Cómo es compatible Apache Kafka con 200K particiones en un clúster?







En Kafka, un tema puede contener muchas particiones entre las que se distribuyen las publicaciones. Las particiones son unidades de simultaneidad. En general, cuantas más particiones, mayor es el rendimiento. Sin embargo, hay algunos factores a considerar cuando hay muchas particiones en el clúster de Kafka. , Apache Kafka, 1.1.0, , Kafka .







, . -, . , . -, , . .







Kafka , . . (1) SIG_TERM . (2) , , . (3) ZooKeeper. (4) . (5) , , , . , . 1. , (4) (5) .













. 1. (1) 1; (2) 1 0; (3) ZooKeeper; (4) 2; (5) 1.







Kafka 1.1.0 . , ZooKeeper . . -, ZooKeeper , . -, , .







Kafka 1.1.0 . -, ZooKeeper API. , , , , ZooKeeper, . Kafka ZooKeeper . -, . .







. , Kafka . ZooKeeper. , , ZooKeeper, . . 1.1.0 Kafka API ZooKeeper. 1.1.0 API .







. ZooKeeper .







Kafka . 25 000 , , 50 000 . 10 000 . , . .







Kafka 1.0.0 Kafka 1.1.0
6,5 3


, . , 6,5 30 . API ZooKeeper 3 . , Kafka.







Kafka, , 2 000 , 50 . 100 000 . 100% ( 28 Kafka 1.0.0 14 Kafka 1.1.0).







, Kafka? , ZooKeeper, .. 4 000 200 000 . , , . , , , , .







KAFKA-5642 KAFKA-5027.







: Apache Kafka. — Stripe. . — 2021. .








All Articles