Flume 配置文件 (flume-site.conf)
?
1、 watchdog
watchdog.restarts.max |
watchdog每分鐘重啟的最大數(shù)??? |
???
???
2、 common node
flume.config.heartbeat.period |
node發(fā)送心跳周期,默認(rèn)5000(毫秒) |
flume.node.status.port |
node web端口 |
flume.node.heartbeat.backoff.ceiling |
node向master發(fā)送心跳之后等待反饋的最大時(shí)長(zhǎng),默認(rèn)60000(毫秒) |
flume.node.http.autofindport |
如果已有node啟動(dòng),允許第二個(gè)node自動(dòng)選擇一個(gè)未使用的端口做web服務(wù)。多個(gè)node的界面端口從35862、35863向后延續(xù) |
???
???
3、agent
flume.agent.logdir |
agent日志路徑 |
flume.agent.logdir.maxage |
當(dāng)前處于打開(kāi)狀態(tài)agent日志文件收集信息的時(shí)長(zhǎng),在這之后該日志文件將會(huì)被關(guān)閉,并將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò),默認(rèn)10000(毫秒) |
flume.agent.logdir.retransmit |
在end-to-end模式下agent向collector發(fā)送數(shù)據(jù)失敗后再次發(fā)送的間隔時(shí)長(zhǎng),默認(rèn)60000(毫秒),建議至少是flume.collector.roll.millis的兩倍 |
flume.agent.failover.backoff.initial |
當(dāng)primary sink(可以認(rèn)為是第一collector)故障后,重啟primary sink的一個(gè)延遲時(shí)間,在此期間,agent將把數(shù)據(jù)發(fā)送到secondary sink(可能是第二collector) |
flume.agent.failover.backoff.max |
在一定時(shí)限內(nèi)嘗試鏈接故障節(jié)點(diǎn)失敗后,agent將把數(shù)據(jù)轉(zhuǎn)發(fā)向備用節(jié)點(diǎn) |
???
???
4、collector
flume.collector.event.host |
默認(rèn)collector地址 |
flume.collector.port |
默認(rèn)collector端口 |
flume.collector.dfs.dir |
最終數(shù)據(jù)發(fā)向目錄(默認(rèn)),可以是本地,可以是hdfs,默認(rèn)是/tmp |
flume.collector.dfs.compress.codec |
壓縮格式GzipCodec, DefaultCodec (deflate), BZip2Codec,默認(rèn)是None |
flume.collector.roll.millis |
hdfs文件切換(關(guān)閉后新建)的時(shí)長(zhǎng) |
flume.collector.output.format |
collector發(fā)送數(shù)據(jù)格式avro, avrojson(默認(rèn)), avrodata… |
???
???
5、master
flume.master.servers |
用逗號(hào)分隔多個(gè)master地址列表 |
flume.master.store |
master配置存儲(chǔ)方式(zookeeper/memory) zookeeper保證master的配置在多master節(jié)點(diǎn)之間同步,memory則保存在內(nèi)存中,其配置隨著master宕機(jī)而丟失 |
flume.master.serverid |
master的唯一標(biāo)識(shí) |
flume.master.http.port |
http端口 |
flume.master.heartbeat.missed.max |
判斷節(jié)點(diǎn)失效的最大未達(dá)心跳數(shù) |
flume.master.savefile |
當(dāng)前flume配置文件的路徑,默認(rèn)conf/current.flume |
flume.master.savefile.autoload |
啟動(dòng)時(shí)是否加載current.flume,默認(rèn)false |
flume.master.gossip.period |
master通信周期(毫秒) |
flume.master.heartbeat.rpc |
THRIFT/AVRO |
flume.event.rpc |
THRIFT/AVRO |
flume.report.server.rpc.type |
THRIFT/AVRO |
???
???
6、zookeeper
flume.master.zk.logdir |
zookeeper日志路徑 |
???
???
7、thrift
flume.thrift.socket.timeout.ms |
thrift網(wǎng)絡(luò)連接超時(shí)時(shí)間(毫秒) |
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
