程序員的智囊庫系列之3--分布式文件系統(Distributed file systems)

這是 程序員的智囊庫系列 的第三篇文章。 上一篇文章 本來打算介紹幾個搭建網站的框架，但由于這部分的內容較多，還需要再整理一段時間，所以先放出這部分的第三篇文章。這一部分我們講介紹分布式存儲相關的一些知識，以及當下(2013-10-29)主流的分布式文件系統。由于有些NoSQL數據庫也可以用來做分布式文件系統的替代物，所以這部分我們還將介紹幾個NoSQL數據庫。主要講介紹以下幾種分布式文件系統和NoSQL數據庫:

• nfs
  
• ceph
  
• TFS
  
• GlusterFS
  
• MooseFS
  
• PVFS2
  
• GPFS
  
• HDFS
  
• FastDFS
  
• MogileFS
  
• Lustre
  
• GoogleFS
  
• memcached
  
• Tokyo Tyrant
  
• Redis
  
• MongoDB

背景

之前公司一直用nfs做文件服務器，nfs的好處就是配置簡單，使用方便。但缺點是當數據量很多，尤其是小文件多的時候，其性能令人堪憂，往往會成為整個系統的性能瓶頸。所以準備在將來考慮用性能更好的方法替代nfs,于是花大工夫整理調查，橫向對比了各分布式文件系統。調查報告的詳細結果整理在 這里 ，本文是從中抽出幾個概要部分稍作講解，具體內容請參見調查報告 原文 。 我把分析報告原文放到了七牛上，但我感覺它最近不太穩定，如果下載不了，請與我聯系，或直接在下面評論里留郵箱。

注：本來調查報告分兩部分，理論分析報告和性能測試報告。本文的目的是介紹給大家更多的知識，擴展知識面，增加知識的廣度。
而不是說直接告訴你，這個比那個好，你用這個，別用那個。
尤其是性能測試這種東西，別人的測試結果的參考價值并不是很大，必須沉下心來，自己去一點點的測才能找到最適合自己的工具、參數。
因此，本文只給出了理論分析報告，并沒有給出性能測試報告。

幾點基礎知識

存儲方案

• DAS
  
• SAN
  
• NAS

數據存儲的方法

• 塊存儲(block)
  
• 文件存儲(file)
  
• 對象存儲(object)

元數據(meta data)

元數據的概念：data about data
數據是指普通文件中的實際數據，而元數據指用來描述一個文件的特征的系統數據，
諸如訪問權限、文件擁有者以及文件數據塊的分布信息(inode...)等等。
在集群文件系統中，分布信息包括文件在磁盤上的位置以及磁盤在集群中的位置。
用戶需要操作一個文件必須首先得到它的元數據，才能定位到文件的位置并且得到文件的內容或相關屬性。
元數據對文件系統的影響：文件系統對元數據的操作占據了傳統文件系統總負荷的近一半。
高效的元數據管理方式對提高整個系統的性能至關重要。
A comparison of file system workloads. 2000 USENIX Annual Technical Conference

單點依賴

當一臺服務器出現故障后，整個服務器群癱瘓。
解決方案：
1 TFS 利用linux 高可用性（HA）機制，配置HA元數據服務集群。但這樣只能配置主設備和從設備，事實上同一時刻還是只有一個服務器在服務。這樣做只能提高系統的穩定性，并不能解決采用集成式元數據服務模式的瓶頸問題（由于系統需要同步，反而會降低性能）。
2 Ceph GPFS 分布式元數據服務模型 將負載分散到多臺服務器解決了性能瓶頸問題，利用對等的服務器或冗余元數據服務分區解決了單點故障問題。分布式看似非常完善，然而它大大增加了設計實現上的復雜性，同時可能會引入了新的問題，即性能開銷和數據一致性問題。

3 GlusterFS 無元數據服務模型
無元數據服務器設計的好處是沒有單點故障和性能瓶頸問題，可提高系統擴展性、性能、可靠性和穩定性。對于海量小文件應用，這種設計能夠有效解決元數據的難點問題。它的負面影響是，數據一致問題更加復雜，文件目錄遍歷操作效率低下，缺乏全局監控管理功能。同時也導致客戶端承擔了更多的職能，比如文件定位、名字空間緩存、邏輯卷視圖維護等等，這些都增加了客戶端的負載，占用相當的CPU和內存。

HA高可用性

高可用性H.A.（High Availability）指的是通過盡量縮短因日常維護操作（計劃）和突發的系統崩潰（非計劃）所導致的停機時間，以提高系統和應用的可用性。它與被認為是不間斷操作的容錯技術有所不同。HA系統是目前企業防止核心計算機系統因故障停機的最有效手段。
實現方法：

1. heartbeat：比較常用
   
2. rhcs：redhat集群套件--redhat cluster suite 圖形界面，實現方便，可有100多個節點
   
3. corosync/openais + paceker
   2個節點：
   采用主備模式：一臺激活，另一臺備份，對外呈現一個虛擬ip地址。兩個節點之間采用心跳線，備份節點使用心跳線來探測活動節點是否處于活動狀態。
   心跳線：雙絞線 或光纖跳線或 serial線
   采用主主模式：兩個節點，在提供web服務時，左側為激活狀態，右側為備份狀態；在實現mail服務時， 一個為激活狀態，一個為備份狀態。

FUSE

Filesystem in userspace
在用戶態實現的文件系統

為什么使用FUSE：

首先要了解用戶態和內核態
為了保證系統安全，在用戶態執行的代碼被硬件限制，不能進行某些操作，如修改其他程序的存儲空間、修改配置文件、殺死其他進程、重啟等。
而在內核態（核心態）執行的代碼，可以不加限制地對系統存儲、外部設備進行操作。

但是從用戶態切換到核心態需要很大的開銷。
所以FUSE有如下優點：
能夠大幅提高效率，簡化了為操作系統提供新的文件系統的工作量，特別適用于各種虛擬文件系統和網絡文件系統。

開源軟件的版本(copyleft)問題

GPL GPL2 GPL3 LGPL AGPL

題外話

無目錄結構、扁平化存儲是海量存儲的未來發展方向
一般來講計算機內部對文件的操作和查找不是按目錄進行定位的
目錄結構完全是為了方便用戶瀏覽。
因而，一些不會與用戶直接打交道的數據，完全可以不用目錄結構存儲。設計新產品的時候可以采用扁平化設計。

參考資料

關于存儲，分布式存儲，分布式文件系統的更多信息，可以參見以下幾本資料：

1. 劉愛貴整理的《 分布式文件系統 》。分布式文件系統的大體認識。
   
2. 張冬寫的《 大話存儲 》和《大話存儲2》。這個系列的書講得非常通俗易懂，而且很詳細，例子也很生動，我認為可以作為國內的權威了。
   
3. 《海量存儲》

分布式文件系統的評價標準

部署

• 部署復雜程度
  
• 服務器配置要求
  
• 文件系統接口
  
• 是否支持FUSE
  
• 是否需要配套的客戶端
  
• 是否支持目錄結構
  
• 可拓展性

性能

• 小文件支持
  
• 大文件支持
  
• 文件大小對性能的影響
  
• 平均傳輸速率

數據安全

• 單點依賴
  
• 冗余保護
  
• 故障恢復

實際應用

• 適用產品級別
  
• 是否成熟
  
• 實際應用
  
• 版本號

維護

• 是否開源
  
• license
  
• 社區活躍程度
  
• 文檔語言
  
• 開發語言
  
• 文檔完善程度

其他

• 數據遷移成本
  
• 存儲機制
  
• 元數據存儲方式
  
• 其他特點

如何才能選擇最好的分布式文件系統呢？沒有最好的分布式文件系統，只有最適合你的實際情況的。不是說最近ceph很火，ceph就一定適合你，一定要在認真分析你的實際情況后，通過理論參數做出初步篩選，然后通過性能測試來做最后的篩選，切不可魯莽選擇。
詳細的理論比對請參見理論分析報告的 原文 ！

時間：2014-11-16
作者： FingerLiu
如果您對我介紹的知識感興趣，歡迎收藏和推薦！謝謝您的支持！
-------------------------------

程序員的智囊庫系列之3--分布式文件系統(Distributed file systems)