Flume Sinks
? ???
?
1、Flume’s Collector Tier Event Sinks
collectorSink( "fsdir","fsfileprefix",rollmillis) |
collectorSink,數(shù)據(jù)通過collector匯聚之后發(fā)送到hdfs, fsdir 是hdfs目錄,fsfileprefix為文件前綴碼 |
????
2、Flume’s Agent Tier Event Sinks
agentSink[("machine"[,port])] |
Defaults to agentE2ESink,如果省略,machine參數(shù),默認(rèn)使用flume.collector.event.host與flume.collector.event.port作為默認(rèn)collecotr(以下同此) |
agentE2ESink[("machine"[,port])] |
執(zhí)著的agent,如果agent發(fā)送event沒有收到collector成功寫入的狀態(tài)碼,該event將被agent重復(fù)發(fā)送,直到接到成功寫入的狀態(tài)碼 |
agentDFOSink[("machine" [,port])] |
本地?zé)醾鋋gent,agent發(fā)現(xiàn)collector節(jié)點(diǎn)故障后,不斷檢查collector的存活狀態(tài)以便重新發(fā)送event,在此間產(chǎn)生的數(shù)據(jù)將緩存到本地磁盤中 |
agentBESink[("machine"[,port])] |
不負(fù)責(zé)的agent,如果collector故障,將不做任何處理,它發(fā)送的數(shù)據(jù)也將被直接丟棄 |
agentE2EChain("m1[:_p1_]" [,"m2[:_p2_]"[,…]]) |
指定多個(gè)collector提高可用性。 當(dāng)向主collector發(fā)送event失效后,轉(zhuǎn)向第二個(gè)collector發(fā)送,當(dāng)所有的collector失敗后,它會(huì)非常執(zhí)著的再來一遍... |
agentDFOChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]]) |
同上,當(dāng)向所有的collector發(fā)送事件失效后,他會(huì)將event緩存到本地磁盤,并檢查collector狀態(tài),嘗試重新發(fā)送 |
agentBEChain("m1[:_p1_]"[, "m2[:_p2_]"[,…]]) |
同上,當(dāng)向所有的collector發(fā)送事件失效后,他會(huì)將event丟棄 |
autoE2EChain |
無需指定collector, 由master協(xié)調(diào)管理event的流向 |
autoDFOChain |
同上 |
autoBEChain |
同上 |
???
3、Flume’s Logical Sinks
logicalSink(" logicalnode ") |
? |
???
4、Flume’s Basic Sinks
在不使用collector收集event的情況下,可將source直接發(fā)向basic sinks
null |
null |
console[("formatter")] |
轉(zhuǎn)發(fā)到控制臺(tái) |
text("txtfile" [,"formatter"]) |
轉(zhuǎn)發(fā)到文本文件 |
seqfile("filename") |
轉(zhuǎn)發(fā)到seqfile |
dfs("hdfspath") |
轉(zhuǎn)發(fā)到hdfs |
customdfs("hdfspath"[, "format"]) |
自定義格式dfs |
+escapedCustomDfs("hdfspath", "file", "format") |
? |
rpcSink("host"[, port]) |
Rpc框架 |
syslogTcp("host"[,port]) |
發(fā)向網(wǎng)絡(luò)地址 |
irc("host",port, "nick", "chan") |
? |
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
