在大數(shù)據(jù)開發(fā)過程中我們經(jīng)常會使用到消息隊(duì)列類型的組件，比較常見的就是Kafka與ActiveMQ，但很多同學(xué)鬧不懂兩者的區(qū)別和聯(lián)系，今天小千就來帶大家分析一下。

      一、背景分析

      消息隊(duì)列這個類型的組件一直是非常重要的組件，當(dāng)經(jīng)過兩家企業(yè)后我就很堅信這個結(jié)論了。隊(duì)列這種東西，最廣泛的作用還是在于解耦，寬泛一點(diǎn)的說，它可以將不同部門的工作內(nèi)容進(jìn)行有效的整合，基于一個約定好的格式，就可以兩頭互相不干擾的進(jìn)行開發(fā)。可以說這個生產(chǎn)消費(fèi)的思想不僅僅適用于程序也適用于非常多的地方。

      目前對于我看到的來說，Kafka更多的還是做為一個數(shù)據(jù)源，數(shù)據(jù)橋梁的作用，不同業(yè)務(wù)之間的溝通。比如需要實(shí)時接入A部門的業(yè)務(wù)數(shù)據(jù)的話，就會有這樣的手段：

      落地到HDFS的數(shù)據(jù)會用來進(jìn)行一些算法上的離線處理，而Kafka端則是給需要實(shí)時性的消費(fèi)方。其實(shí)數(shù)據(jù)的消費(fèi)方式無非也就實(shí)時和離線兩種方式。

      二、Kafka和ActiveMQ對比

      相比過去經(jīng)常使用的ActiveMQ，Kafka確實(shí)非常的不同，做一個對比來深化印象

      說到底，做為kafka的消費(fèi)方，能感受到最大的不同還是在于幾個：

      1. 吞吐量確實(shí)非常高

      2.可以重讀歷史數(shù)據(jù)

      3.但是也有一些缺點(diǎn)：概念上比較復(fù)雜，相對于AMQ只需要知道ip和隊(duì)列名你就能獲得數(shù)據(jù)，Kafka使用起來非常繁瑣

      三、Kafka的基本概念（摘錄）

      1.Broker：消息中間件處理結(jié)點(diǎn)，一個Kafka節(jié)點(diǎn)就是一個broker，多個broker可以組成一個Kafka集群。

      2.Topic：一類消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能夠同時負(fù)責(zé)多個topic的分發(fā)。

      3.Partition：topic物理上的分組，一個topic可以分為多個partition，每個partition是一個有序的隊(duì)列。

      4.Segment：partition物理上由多個segment組成。

      5.offset：每個partition都由一系列有序的、不可變的消息組成，這些消息被連續(xù)的追加到partition中。partition中的每個消息都有一個連續(xù)的序列號叫做offset,用于partition唯一標(biāo)識一條消息.

      四、Kafka消費(fèi)端的常用參數(shù)

      看過上面的介紹之后，相信大家對Kafka與ActiveMQ都有一定的了解了吧，最后歡迎對大數(shù)據(jù)開發(fā)感興趣的同學(xué)來到千鋒大數(shù)據(jù)培訓(xùn)班了解一下我們的大數(shù)據(jù)開發(fā)培訓(xùn)課程，現(xiàn)在還有免費(fèi)學(xué)習(xí)教程視頻可以領(lǐng)取，先到先得。