Flume Source
???
???
1、Flume’s Tiered Event Sources
collectorSource[( port )] |
Collector source,監(jiān)聽端口匯聚數(shù)據(jù) |
autoCollectorSource |
通過master協(xié)調(diào)物理節(jié)點自動匯聚數(shù)據(jù) |
logicalSource |
邏輯source,由master分配端口并監(jiān)聽rpcSink |
???
???
?
2、Flume’s Basic Sources
null |
? |
console |
監(jiān)聽用戶編輯歷史和快捷鍵輸入,只在node_nowatch模式下可用 |
stdin |
監(jiān)聽標準輸入,只在node_nowatch模式下可用,每行將作為一個event source |
rpcSource( port ) |
由rpc框架(thrift/avro)監(jiān)聽tcp端口 |
text(" filename ") |
一次性讀取一個文本,每行為一個event |
tail(" filename "[, startFromEnd =false]) |
每行為一個event。監(jiān)聽文件尾部的追加行,如果startFromEnd為true,tail將從文件尾讀取,如果為false,tail將從文件開始讀取全部數(shù)據(jù) |
multitail(" filename "[, file2 [, file3 … ] ]) |
同上,同時監(jiān)聽多個文件的末尾 |
tailDir(" dirname "[, fileregex=".*"[, startFromEnd=false[, recurseDepth=0]]]) |
監(jiān)聽目錄中的文件末尾,使用正則去選定需要監(jiān)聽的文件(不包含目錄),recurseDepth為遞歸監(jiān)聽其下子目錄的深度 |
seqfile(" filename ") |
監(jiān)聽hdfs的sequencefile,全路徑 |
syslogUdp( port ) |
監(jiān)聽Udp端口 |
syslogTcp( port ) |
監(jiān)聽Tcp端口 |
syslogTcp1( port ) |
只監(jiān)聽Tcp端口的一個鏈接 |
execPeriodic(" cmdline ", ms ) |
周期執(zhí)行指令,監(jiān)聽指令的輸出,整個輸出都被作為一個event |
execStream(" cmdline ") |
執(zhí)行指令,監(jiān)聽指令的輸出,輸出的每一行被作為一個event |
exec(" cmdline "[, aggregate =false[, restart =false[, period =0]]]) |
執(zhí)行指令,監(jiān)聽指令的輸出,aggregate如果為true,整個輸出作為一個event如果為false,則每行作為一個event。如果restart為true,則按period為周期重新運行 |
synth( msgCount , msgSize ) |
隨即產(chǎn)生字符串event,msgCount為產(chǎn)生數(shù)量,msgSize為串長度 |
synthrndsize( msgCount , minSize , maxSize ) |
同上,minSize – maxSize |
nonlsynth( msgCount , msgSize ) |
? |
asciisynth( msgCount , msgSize ) |
Ascii碼字符 |
twitter(" username "," pw "[," url "]) |
尼瑪twitter的插件啊 |
irc(" server ", port , " nick "," chan ") |
? |
scribe[(+ port )] |
Scribe插件 |
report[(periodMillis)] |
生成所有physical node報告為事件源 |
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯(lián)系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
