一文讀懂什么是分布式流處理系統(tǒng)Kafka

Kafka是一個分布式流處理系統(tǒng)，流處理系統(tǒng)使它可以像消息隊列一樣publish或者subscribe消息，分布式提供了容錯性，并發(fā)處理消息的機制。

2017-12-12 標簽：pythonkafka 7.1k 0

Kafka框架的工作原理及工作流程

Kafka在大數據技術生態(tài)當中，以作為消息系統(tǒng)而聞名，面對活躍的流式數據，提供高吞吐量的服務，在實時大數據處理場景下，可以說是一大利器，國內外大廠都有應...

2021-01-15 標簽：大數據kafka 5.7k 0

Rocket MQ存儲與Kafka存儲對比分析

Kafka單機超過64個隊列/分區(qū)，Load會發(fā)生明顯的飆高現象，隊列越多，load越高，發(fā)送消息響應時間變長。Kafka分區(qū)數無法過多的問題，Rock...

2021-01-14 標簽：存儲kafka 3.6k 0

Kafka架構技術：Kafka的架構和客戶端API設計

Kafka 給自己的定位是事件流平臺（event stream platform）。因此在消息隊列中經常使用的 "消息"一詞，在 K...

2023-10-10 標簽：控制器JAVAAPI 3k 0

監(jiān)控Kafka集群的常用的方法和工具介紹

JMX監(jiān)控：Kafka提供了JMX（Java Management Extensions）接口，可以通過JMX來監(jiān)控和管理Kafka集群。您可以使用JC...

2023-08-30 標簽：監(jiān)控集群監(jiān)控kafka 2.8k 0

kafka設計原理的深度探討

Kafka簡介 Kafka是一種分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。主要設計目標如下： 以時間復雜度為O(1)的方式提供消息持久化能力，即使對TB級以上...

2020-10-08 標簽：服務器異步通信kafka 2.5k 0

關于MQ的主流的消息中間件對比解析

RabbitMQ 類似有生產階段、存儲階段、消費階段，相較 RabbitMQ 的架構，增加了 NameServer 集群，橫向拓展能力較好。參考的 Ka...

2023-07-05 標簽：中間件消息中間件kafka 1.8k 0

Kafka的再平衡機制的三種分區(qū)重分配

所謂的再平衡，指的是在kafka consumer所訂閱的topic發(fā)生變化時發(fā)生的一種分區(qū)重分配機制。一般有三種情況會觸發(fā)再平衡：

2020-05-03 標簽：字符串kafka 6.5k 0

超詳細“零”基礎kafka入門篇

1、認識kafka 1.1 kafka簡介 Kafka?是一個分布式流媒體平臺 kafka官網：http://kafka.apache.org/ （1）...

2024-12-18 標簽：流媒體kafka 4.6k 0

Kafka的四個基礎概念學習

Kafka 是一個消息系統(tǒng)，原本開發(fā)自 LinkedIn，用作 LinkedIn 的活動流（Activity Stream）和運營數據處理管道（Pipe...

2020-05-03 標簽：LinkedInkafka 3.1k 0

架構師應該使用Kafka還是Rabbit MQ

作為處理許多基于微服務的系統(tǒng)的軟件架構師，我經常遇到一個不斷重復的問題："我應該使用RabbitMQ還是Kafka？" 由于某些原因，許多開發(fā)人員認為這...

2020-05-03 標簽：軟件架構kafka 2.8k 0

Kafka的概念及Kafka的宕機

問題要從一次Kafka的宕機開始說起。 筆者所在的是一家金融科技公司，但公司內部并沒有采用在金融支付領域更為流行的 RabbitMQ ，而是采用了設計之...

2021-08-27 標簽：ISRHDFSkafka 2.8k 0