亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

高性能、高容錯、基于內(nèi)存的開源分布式存儲系統(tǒng)

系統(tǒng) 2251 0

Tachyon是什么?

Tachyon是一個高性能、高容錯、基于內(nèi)存的開源分布式存儲系統(tǒng),并具有類Java的文件API、插件式的底層文件系統(tǒng)、兼容Hadoop MapReduce和Apache Spark等特征。Tachyon能夠為集群框架(如Spark、MapReduce等)提供內(nèi)存級速度的跨集群文件共享服務(wù)。Tachyon充分使用內(nèi)存和文件對象之間的世代(Lineage)信息,因此速度很快,官方號稱最高比HDFS吞吐量高300倍。目前,很多公司(如Pivotal、EMC、紅帽等)已經(jīng)在使用Tachyon,并且來自20個組織或公司(如雅虎、英特、紅帽等)的60多個貢獻者都在為其貢獻代碼。Tachyon是于UC Berkeley數(shù)據(jù)分析棧(BDAS)的存儲層,它還是Fedroa操作系統(tǒng)自帶應(yīng)用。

Tachyon具有的重要特征如下:

類Java的文件API: Tachyon的原生API同Java的文件類非常相似,并提供了InputStream和OutputStream接口,還支持內(nèi)存映射IO;
兼容MapReduce和Spark:Tachyon實現(xiàn)了Hadoop的FileSystem接口,因此,MapReduce和Spark無需做任何修改就可以使用Tachyon;
插件式的底層文件系統(tǒng):Tachyon基于Hadoop并從底層重建了Hadoop平臺。Tachyon具有一個通用、方便于接入不同底層文件系統(tǒng)的接口。目前支持的文件系統(tǒng)包括HDFS、S3、GlusterFS、單節(jié)點本地文件系統(tǒng)等,對其他文件系統(tǒng)的支持將很快實現(xiàn)。
支持本地原始表:Tachyon提供了對多列數(shù)據(jù)的本地支持,且提供了選擇項,以決定是否將Hot列放入內(nèi)存以節(jié)省空間;
瀏覽文件系統(tǒng)的Web界面:用戶能夠通過Web界面瀏覽文件系統(tǒng),尤其在Debug模式下,管理員還能夠查看每個文件的詳細信息,如文件位置、檢查點(Checkpoint)路徑等;
支持命令行交互:用戶能夠使用命令“./bin/tachyon tfs”同Tachyon進行交互,如往文件系統(tǒng)中復(fù)制數(shù)據(jù)以及從文件系統(tǒng)往外復(fù)制數(shù)據(jù);
高容錯性:Tachyon具有良好的容錯機制,Master和Worker都有自己的容錯方式。Master使用ZooKeeper進行容錯,Master中保存的元數(shù)據(jù)使用Journal進行容錯,Master還對各個Worker的狀態(tài)進行監(jiān)控,發(fā)現(xiàn)Worker失效時會自動重啟對應(yīng)的Worker。對于具體的文件數(shù)據(jù),Tachyon使用世代關(guān)系進行容錯。
Tachyon采用了Master-Worker模式,運行中的Tachyon系統(tǒng)由一個Master和多個Worker構(gòu)成。Tachyon Master管理全部文件的元數(shù)據(jù)信息,同時也負責(zé)監(jiān)控各個Tachyon Worker的狀態(tài)。為了高效地對文件進行管理,Tachyon文件在內(nèi)存中按塊組織。文件和塊信息保存在Master端,每個Worker以塊為單位進行存儲和管理。

Tachyon誕生于UC Berkeley的AMPLab,由該實驗室的計算機在讀博士李浩源初創(chuàng),并基于Apache License 2.0開源協(xié)議發(fā)布,代碼托管在GitHub,其當前最新版本為0.6.1。去年10份,李浩源在接受InfoQ采訪時曾表示:

長期來講,他們對待Tachyon會像對待Apache Mesos和Apache Spark一樣,Tachyon也會進入Apache軟件基金會,這里歡迎更多的開發(fā)者加入。

近日,從華爾街日報消息得知,Tachyon獲得了硅谷風(fēng)投A16Z的750萬美元A輪投資。AMPLab的項目還包括與Hadoop相似、啟用了內(nèi)存分布數(shù)據(jù)集的開源集群計算環(huán)境Spark、類似于基于鍵/值存儲的SQL查詢語言PIQL、基于分布式系統(tǒng)的機器學(xué)習(xí)系統(tǒng)MLBase、多核和大型SMP系統(tǒng)的操作系統(tǒng)Akaros、低延遲計算集群調(diào)度系統(tǒng)Sparrow等。此外,Tachyon官網(wǎng)還提供了相關(guān)文檔,如用戶文檔、開發(fā)者文檔等。更多關(guān)于Tachyon的信息,讀者可以登錄其官網(wǎng)或其GitHub提供的Wiki頁面查看。

?

source:?http://www.infoq.com/cn/news/2015/03/tachyon-distributed--system

高性能、高容錯、基于內(nèi)存的開源分布式存儲系統(tǒng)Tachyon的簡單介紹


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 久草视频新 | 日韩看片网站 | 欧美亚洲激情 | 久久国产精品亚洲va麻豆 | 涩涩www在线观看免费高清 | 亚洲va欧美va国产va天堂影 | 波多野结衣亚洲一区 | 日日添天天做天天爱 | 激情开心婷婷 | 久久久久久久国产精品影院 | 中文字幕在亚洲第一在线 | 亚洲欧美在线中文字幕不卡 | 伊人影音 | 免费一级欧美大片在线观看 | 国产精品美女免费视频大全 | 日本a级精品一区二区三区 日本a毛片在线播放 | 日韩在线国产 | 有色视频在线观看免费高清 | 亚洲一区国产 | 国产亚洲精品成人久久网站 | 99热这里只有精品国产99 | 曰本人一级毛片免费完整视频 | 欧美亚洲h在线一区二区 | 模特视频一二三区 | 久久精品国产免费观看99 | 久久久久免费观看 | 欧美大尺度 边吃奶边做 | 国产精品午夜激爽毛片 | 亚洲一区二区免费视频 | 久久久久久久国产精品毛片 | 国产精品久久现线拍久青草 | 国产成人99精品免费视频麻豆 | 一区二区三区不卡在线 | 四虎影视永久在线观看 | 日韩欧美国产高清在线观看 | 国内第一永久免费福利视频 | 四虎影视在线观看 | 日韩欧美亚州 | 一二区| 精品久久伦理中文字幕 | 欧美日韩中出 |