最近兩天，仔細的看了一下Flume中央日志系統(tǒng)（版本號：1.3.X），F(xiàn)lume在本人看來，還是一個非常不錯的日志收集系統(tǒng)的，其設計理念非常易用，簡潔。并且是一個開源項目，基于Java語言開發(fā)，可以進行一些自定義的功能開發(fā)。運行Flume時，機器必須安裝裝JDK6.0以上的版本，并且，F(xiàn)lume目前只有Linux系統(tǒng)的啟動腳本，沒有Windows環(huán)境的啟動腳本。 ?
????? ? ?
Flume主要由3個重要的組件購成： ?
Source:完成對日志數(shù)據(jù)的收集，分成transtion 和 event 打入到channel之中。 ?
????? Channel:主要提供一個隊列的功能，對source提供中的數(shù)據(jù)進行簡單的緩存。 ?
????? Sink:取出Channel中的數(shù)據(jù)，進行相應的存儲文件系統(tǒng)，數(shù)據(jù)庫，或者提交到遠程服務器。 ?
對現(xiàn)有程序改動最小的使用方式是使用是直接讀取程序原來記錄的日志文件，基本可以實現(xiàn)無縫接入，不需要對現(xiàn)有程序進行任何改動。 ?
對于直接讀取文件Source,有兩種方式： ?
ExecSource:以運行Linux命令的方式，持續(xù)的輸出最新的數(shù)據(jù)，如tail -F 文件名指令，在這種方式下，取的文件名必須是指定的。 ?
????? SpoolSource:是監(jiān)測配置的目錄下新增的文件，并將文件中的數(shù)據(jù)讀取出來。需要注意兩點： 1、拷貝到spool目錄下的文件不可以再打開編輯。２、spool目錄下不可包含相應的子目錄。 在實際使用的過程中，可以結合log4j使用，使用log4j的時候，將log4j的文件分割機制設為1分鐘一次，將文件拷貝到spool的監(jiān)控目錄。log4j有一個TimeRolling的插件，可以把log4j分割的文件到spool目錄。基本實現(xiàn)了實時的監(jiān)控。Flume在傳完文件之后，將會修改文件的后綴，變?yōu)?COMPLETED（后綴也可以在配置文件中靈活指定） ?
ExecSource，SpoolSource對比：ExecSource可以實現(xiàn)對日志的實時收集，但是存在Flume不運行或者指令執(zhí)行出錯時，將無法收集到日志數(shù)據(jù)，無法何證日志數(shù)據(jù)的完整性。SpoolSource雖然無法實現(xiàn)實時的收集數(shù)據(jù)，但是可以使用以分鐘的方式分割文件，趨近于實時。如果應用無法實現(xiàn)以分鐘切割日志文件的話，可以兩種收集方式結合使用。 ?
Channel有多種方式：有MemoryChannel,JDBC Channel,MemoryRecoverChannel,FileChannel。MemoryChannel可以實現(xiàn)高速的吞吐，但是無法保證數(shù)據(jù)的完整性。MemoryRecoverChannel在官方文檔的建議上已經(jīng)建義使用FileChannel來替換。FileChannel保證數(shù)據(jù)的完整性與一致性。在具體配置不現(xiàn)的FileChannel時，建議FileChannel設置的目錄和程序日志文件保存的目錄設成不同的磁盤，以便提高效率。 ?
Sink在設置存儲數(shù)據(jù)時，可以向文件系統(tǒng)中，數(shù)據(jù)庫中，hadoop中儲數(shù)據(jù)，在日志數(shù)據(jù)較少時，可以將數(shù)據(jù)存儲在文件系中，并且設定一定的時間間隔保存數(shù)據(jù)。在日志數(shù)據(jù)較多時，可以將相應的日志數(shù)據(jù)存儲到Hadoop中，便于日后進行相應的數(shù)據(jù)分析。 ?

Flume研究心得