Cómo manejar más de 2 mil millones de registros en una base de datos SQL

Dentro del grupo de inscripción en el curso " Highload Architect " para preparar una traducción de un artículo interesante.



También lo invitamos a asistir al seminario web sobre
"Elegir un estilo arquitectónico" . En esta lección abierta, los participantes, junto con un experto, considerarán las diferencias entre los enfoques de microservicio y monolíticos, las ventajas y desventajas de los enfoques y discutirán los principios para elegir un estilo arquitectónico.






, , MySQL 2 . , . : , , , - , . . 





, , : . , , .





- . Google Big Query. , Google, , (low latency). BigQuery, , (. ). 





, (Andrzej Ludwikowski), , Big Query , . , , , , BigQuery , BigQuery - . 





https://cloud.google.com/solutions/infrastructure-options-for-data-pipelines-in-advertising#storing_data





, . Apache Kafka , . Kafka — Kafka , , MySQL. BigQuery, , . , , - .





MySQL

, MySQL Kafka, , , Debezium Kafka Connect. — , . MySQL , Debezium , MySQL . Kafka Connect - , - . , timestamp-, - , timestamp, . 





, , , Kafka. Kafka Producer, - Kafka. Kafka Consumer, BigQuery, .





Envío de datos a BigQuery
BigQuery

, Kafka ( ), — BigQuery. . . , . . serial id . (truncate) / (drop) , , . , Kafka . , INSERT , . , , , , . 





Pasar datos a una tabla particionada

, BigQuery   , , , .





, . , 90% . , Kafka Consumer, . «» (compacted table), .





( "A" "B" type ).





Pasar datos a una tabla compactada
compacted-

(compacted table), (partitioned table), Kafka (compacted table). 





, , , . . , , , . 





BigQuery , , , - MySQL, , . — , .





, . Kafka BigQuery. Kafka, , .






"Highload Architect".





« ».








All Articles