亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

flume 參考文檔 (一)

系統(tǒng) 1770 0

Flume 配置文件 (flume-site.conf)

?

1、 watchdog

watchdog.restarts.max

watchdog每分鐘重啟的最大數(shù)???

???

???

2、 common node

flume.config.heartbeat.period

node發(fā)送心跳周期,默認(rèn)5000(毫秒)

flume.node.status.port

node web端口

flume.node.heartbeat.backoff.ceiling

node向master發(fā)送心跳之后等待反饋的最大時(shí)長(zhǎng),默認(rèn)60000(毫秒)

flume.node.http.autofindport

如果已有node啟動(dòng),允許第二個(gè)node自動(dòng)選擇一個(gè)未使用的端口做web服務(wù)。多個(gè)node的界面端口從35862、35863向后延續(xù)

???

???

3、agent

flume.agent.logdir

agent日志路徑

flume.agent.logdir.maxage

當(dāng)前處于打開(kāi)狀態(tài)agent日志文件收集信息的時(shí)長(zhǎng),在這之后該日志文件將會(huì)被關(guān)閉,并將數(shù)據(jù)發(fā)送到網(wǎng)絡(luò),默認(rèn)10000(毫秒)

flume.agent.logdir.retransmit

在end-to-end模式下agent向collector發(fā)送數(shù)據(jù)失敗后再次發(fā)送的間隔時(shí)長(zhǎng),默認(rèn)60000(毫秒),建議至少是flume.collector.roll.millis的兩倍

flume.agent.failover.backoff.initial

當(dāng)primary sink(可以認(rèn)為是第一collector)故障后,重啟primary sink的一個(gè)延遲時(shí)間,在此期間,agent將把數(shù)據(jù)發(fā)送到secondary sink(可能是第二collector)

flume.agent.failover.backoff.max

在一定時(shí)限內(nèi)嘗試鏈接故障節(jié)點(diǎn)失敗后,agent將把數(shù)據(jù)轉(zhuǎn)發(fā)向備用節(jié)點(diǎn)

???

???

4、collector

flume.collector.event.host

默認(rèn)collector地址

flume.collector.port

默認(rèn)collector端口

flume.collector.dfs.dir

最終數(shù)據(jù)發(fā)向目錄(默認(rèn)),可以是本地,可以是hdfs,默認(rèn)是/tmp

flume.collector.dfs.compress.codec

壓縮格式GzipCodec, DefaultCodec (deflate), BZip2Codec,默認(rèn)是None

flume.collector.roll.millis

hdfs文件切換(關(guān)閉后新建)的時(shí)長(zhǎng)

flume.collector.output.format

collector發(fā)送數(shù)據(jù)格式avro, avrojson(默認(rèn)), avrodata…

???

???

5、master

flume.master.servers

用逗號(hào)分隔多個(gè)master地址列表

flume.master.store

master配置存儲(chǔ)方式(zookeeper/memory) zookeeper保證master的配置在多master節(jié)點(diǎn)之間同步,memory則保存在內(nèi)存中,其配置隨著master宕機(jī)而丟失

flume.master.serverid

master的唯一標(biāo)識(shí)

flume.master.http.port

http端口

flume.master.heartbeat.missed.max

判斷節(jié)點(diǎn)失效的最大未達(dá)心跳數(shù)

flume.master.savefile

當(dāng)前flume配置文件的路徑,默認(rèn)conf/current.flume

flume.master.savefile.autoload

啟動(dòng)時(shí)是否加載current.flume,默認(rèn)false

flume.master.gossip.period

master通信周期(毫秒)

flume.master.heartbeat.rpc

THRIFT/AVRO

flume.event.rpc

THRIFT/AVRO

flume.report.server.rpc.type

THRIFT/AVRO

???

???

6、zookeeper

flume.master.zk.logdir

zookeeper日志路徑

???

???

7、thrift

flume.thrift.socket.timeout.ms

thrift網(wǎng)絡(luò)連接超時(shí)時(shí)間(毫秒)

flume 參考文檔 (一)


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫(xiě)作最大的動(dòng)力,如果您喜歡我的文章,感覺(jué)我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 毛片视频免费 | 久久精品中文字幕久久 | 内部片免费一区 | 大杳蕉伊人狼人久久一本线 | 久久久久久网站 | 欧美九九视频 | 欧美亚洲高清 | 一级毛片日韩 | 韩日视频在线观看 | 亚欧美综合 | 亚洲欧美日韩国产综合久 | 经典国产乱子伦精品视频 | 国产精品一区不卡 | 狠狠亚洲婷婷综合色香五 | 久草视频在线免费看 | 不卡午夜视频 | 日本在线观看永久免费网站 | 色婷婷精品大全在线视频 | 国内精品哆啪啪 | 国产欧美日韩一区二区三区视频 | 国产99视频精品免费视频免里 | 最新国产精品好看的国产精品 | 中国一级特黄大片毛片 | 久久精品片 | 夜色私人影院永久地址入口 | 天海翼一区二区三区高清视频 | 精品香蕉99久久久久网站 | 中文字幕在线观看亚洲日韩 | 色综合久久88一加勒比 | 日韩在线一区二区三区视频 | 在线看欧美三级中文经典 | 一区二区三区在线免费视频 | 91久久精品国产91性色tv | 免费人成激情视频在线观看冫 | 美女牲交视频一级毛片 | 免费日本黄色网址 | 天天干天天干天天干天天 | 精品国产高清自在线一区二区三区 | 欧美毛片aaaaa片久久久久 | 久久日本精品国产精品白 | 日本欧美一区二区三区在线 |