Channel 被設(shè)計為 Event 中轉(zhuǎn)臨時緩沖區(qū),存儲 Source 收集并且沒有被 Sink 讀取的 Event,為平衡 Source 收集和 Sink 讀取的速度,可視為 Flume 內(nèi)部的消息隊列。
Channel 線程安全并且具有事務(wù)性,支持 Source 寫失敗寫,和 Sink 讀失敗重復(fù)讀的操作。
常見的類型包括 Memory Channel,F(xiàn)ile Channel,Kafka Channel。
千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機構(gòu)
千鋒學(xué)習(xí)站 | 隨時隨地免費學(xué)
掃一掃進(jìn)入千鋒手機站
關(guān)注千鋒學(xué)習(xí)站小程序
隨時隨地免費學(xué)習(xí)課程
Channel 被設(shè)計為 Event 中轉(zhuǎn)臨時緩沖區(qū),存儲 Source 收集并且沒有被 Sink 讀取的 Event,為平衡 Source 收集和 Sink 讀取的速度,可視為 Flume 內(nèi)部的消息隊列。
Channel 線程安全并且具有事務(wù)性,支持 Source 寫失敗寫,和 Sink 讀失敗重復(fù)讀的操作。
常見的類型包括 Memory Channel,F(xiàn)ile Channel,Kafka Channel。
上一篇
Flume監(jiān)控器hive外部表是使用external關(guān)鍵字并指定一個hdfs目錄創(chuàng)建的表。hive內(nèi)部表在創(chuàng)建時會在對應(yīng)hive目錄下創(chuàng)建相應(yīng)的文件夾,外部表則以指定文件夾為...詳情>>
2022-09-02 17:21:00Checkpoint是為runtime準(zhǔn)備的,Savepoint 是為用戶準(zhǔn)備的。Checkpoint 機制的目標(biāo)在于保證Flink作業(yè)意外崩潰重啟不影響exactly once 準(zhǔn)確性,通...詳情>>
2022-09-02 16:59:22State:指一個具體的Task/Operator的狀態(tài)。State可以被記錄,在失敗的情況下數(shù)據(jù)還可以恢復(fù),F(xiàn)link中有兩種基本類型的State: Keyed State, Op...詳情>>
2022-09-02 16:59:19Flink 內(nèi)部是基于producer-consumer模型來進(jìn)行消息傳遞的,F(xiàn)link的反壓設(shè)計也是基于這個模型。Flink 使用了高效有界的分布式阻塞隊列,就像 Jav...詳情>>
2022-09-02 16:59:16雖說水位線(Watermark)表明早于它的事件不應(yīng)該再出現(xiàn),但是接收到水位線以前的的消息是不可避免的,這就是所謂的遲到事件。實際上遲到事件是亂...詳情>>
2022-09-02 16:59:00大數(shù)據(jù)kafka常見面試題——如何搭建kafka?
沸大數(shù)據(jù)kafka常見面試題——kafka中如何避免重復(fù)消費
熱大數(shù)據(jù)面試題之多種方法創(chuàng)建dataframe
熱大數(shù)據(jù)Hadoop面試題——Hadoop干什么用的?
新大數(shù)據(jù)行業(yè)2年工作經(jīng)驗的面試題有哪些?
大數(shù)據(jù)kafka面試題——kafka和flume的區(qū)別是什么?
大數(shù)據(jù)部署Kafka面試題解析:實時同步Kafka
大數(shù)據(jù)部署Kafka面試題:Kafka的部署與管理
大數(shù)據(jù)面試中關(guān)于kafka原理的面試題
揭秘大數(shù)據(jù)面試必考面試題:快速掌握關(guān)鍵知識!