FastDFS是一個開源的輕量級分布式文件系統(tǒng)，她對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網(wǎng)站、視頻網(wǎng)站等等。

FastDFS服務端有兩個角色：跟蹤器（tracker）和存儲節(jié)點（storage）。跟蹤器主要做調度工作，在訪問上起負載均衡的作用。

存儲節(jié)點存儲文件，完成文件管理的所有功能：存儲、同步和提供存取接口，F(xiàn)astDFS同時對文件的metadata進行管理。所謂文件的meta data就是文件的相關屬性，以鍵值對（key valuepair）方式表示，如：width=1024，其中的key為width，value為1024。文件metadata是文件屬性列表，可以包含多個鍵值對。

FastDFS系統(tǒng)結構如下圖所示：

跟蹤器和存儲節(jié)點都可以由一臺多臺服務器構成。跟蹤器和存儲節(jié)點中的服務器均可以隨時增加或下線而不會影響線上服務。其中跟蹤器中的所有服務器都是對等的，可以根據(jù)服務器的壓力情況隨時增加或減少。

為了支持大容量，存儲節(jié)點（服務器）采用了分卷（或分組）的組織方式。存儲系統(tǒng)由一個或多個卷組成，卷與卷之間的文件是相互獨立的，所有卷的文件容量累加就是整個存儲系統(tǒng)中的文件容量。一個卷可以由一臺或多臺存儲服務器組成，一個卷下的存儲服務器中的文件都是相同的，卷中的多臺存儲服務器起到了冗余備份和負載均衡的作用。

在卷中增加服務器時，同步已有的文件由系統(tǒng)自動完成，同步完成后，系統(tǒng)自動將新增服務器切換到線上提供服務。

當存儲空間不足或即將耗盡時，可以動態(tài)添加卷。只需要增加一臺或多臺服務器，并將它們配置為一個新的卷，這樣就擴大了存儲系統(tǒng)的容量。

FastDFS中的文件標識分為兩個部分：卷名和文件名，二者缺一不可。

FastDFS file upload

上傳文件交互過程：

1. client詢問tracker上傳到的storage，不需要附加參數(shù)；

2. tracker返回一臺可用的storage；

3. client直接和storage通訊完成文件上傳。

FastDFS file download

下載文件交互過程：

1. client詢問tracker下載文件的storage，參數(shù)為文件標識（卷名和文件名）；

2. tracker返回一臺可用的storage；

3. client直接和storage通訊完成文件下載。

需要說明的是，client為使用FastDFS服務的調用方，client也應該是一臺服務器，它對tracker和storage的調用均為服務器間的調用。

google code地址：http://code.google.com/p/fastdfs/

google code下載地址：http://code.google.com/p/fastdfs/downloads/list#p#

MogileFS一個開源的分布式文件系統(tǒng)

1.應用層——沒有特殊的組件要求

2.無單點失敗——MogileFS啟動的三個組件（存儲節(jié)點、跟蹤器、跟蹤用的數(shù)據(jù)庫），均可運行在多個 機器上，因此沒有單點失敗。（你也可以將跟蹤器和存儲節(jié)點運行在同一臺機器上，這樣你就沒有必要用4臺機器）推薦至少兩臺機器。

3.自動的文件復制——文件是基于他們的“類”，文件可以自動的在多個存儲節(jié)點上復制，這是為了盡量少的復制，才使用“類”的。加入你有的圖片站點有 三份JPEG圖片的拷貝，但實際只有1or2份拷貝，那么Mogile可以重新建立遺失的拷貝數(shù)。用這種辦法，MogileFS(不做RAID)可以節(jié)約 在磁盤，否則你將存儲同樣的拷貝多份，完全沒有必要。

4.“比RAID好多了”——在一個非存儲區(qū)域網(wǎng)絡的RAID（non-SAN RAID）的建立中，磁盤是冗余的，但主機不是，如果你整個機器壞了，那么文件也將不能訪問。 MogileFS在不同的機器之間進行文件復制，因此文件始終是可用的。

5.傳輸中立，無特殊協(xié)議——MogileFS客戶端可以通過NFS或HTTP來和MogileFS的存儲節(jié)點來通信，但首先需要告知跟蹤器一下。

6.簡單的命名空間——文件通過一個給定的key來確定，是一個全局的命名空間。你可以自己生成多個命名空間，只要你愿意，但是這樣可能在同一MogileFS中，會造成沖突key。

7.不用共享任何東西——MogileFS不需要依靠昂貴的SAN來共享磁盤，每個機器只用維護好自己的磁盤。

8.不需要RAID——在MogileFS中的磁盤可以是做了RAID的也可以是沒有，如果是為了安全性著想的話RAID沒有必要買了，因為MogileFS已經提供了。

9.不會碰到文件系統(tǒng)本身的不可知情況——在MogileFS中的存儲節(jié)點的磁盤可以被格式化成多種格（ext3,reiserFS等等）。MogilesFS會做自己內部目錄的哈希，所以它不會碰到文件系統(tǒng)本身的一些限制，比如一個目錄中的最大文件數(shù)。你可以放心的使用。#p#

FastFDS和MogileFS的對比

FastDFS設計時借鑒了MogileFS的一些思路。FastDFS是一個完善的分布式文件存儲系統(tǒng)，通過客戶端API對文件進行讀寫。可以說，MogileFS的所有功能特性FastDFS都具備，MogileFS網(wǎng)址：http://www.danga.com/mogilefs/。

另外，相對于MogileFS，F(xiàn)astDFS具有如下特點和優(yōu)勢：

1. FastDFS完善程度較高，不需要二次開發(fā)即可直接使用；

2. 和MogileFS相比，F(xiàn)astDFS裁減了跟蹤用的數(shù)據(jù)庫，只有兩個角色：tracker和storage。FastDFS的架構既簡化了系統(tǒng)，同時也消除了性能瓶頸；

3. 在系統(tǒng)中增加任何角色的服務器都很容易：增加tracker服務器時，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服務器時，通常不需要修改任何配置文件，系統(tǒng)會自動將該卷中已有文件復制到該服務器；

4. FastDFS比MogileFS更高效。表現(xiàn)在如下幾個方面：

1）參見上面的第2點，F(xiàn)astDFS和MogileFS相比，沒有文件索引數(shù)據(jù)庫，F(xiàn)astDFS整體性能更高；

2）從采用的開發(fā)語言上看，F(xiàn)astDFS比MogileFS更底層、更高效。FastDFS用C語言編寫，代碼量不到2萬行，沒有依賴其他開源軟件或程序包，安裝和部署特別簡潔；而MogileFS用perl編寫；

3）FastDFS直接使用socket通信方式，相對于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile傳輸文件，采用了內存零拷貝，系統(tǒng)開銷更小，文件傳輸效率更高。

5. FastDFS有著詳細的設計和使用文檔，而MogileFS的文檔相對比較缺乏。

6. FastDFS的日志記錄非常詳細，系統(tǒng)運行時發(fā)生的任何錯誤信息都會記錄到日志文件中，當出現(xiàn)問題時方便管理員定位錯誤所在。

7. FastDFS還對文件附加屬性（即meta data，如文件大小、圖片寬度、高度等）進行存取，應用不需要使用數(shù)據(jù)庫來存儲這些信息。

8. FastDFS從V1.14開始支持相同文件內容只保存一份，這樣可以節(jié)省存儲空間，提高文件訪問性能。