Block概念

磁盤有一個Block size的概念，它是磁盤讀/寫數據的最小單位。構建在這樣的磁盤上的文件系統也是通過塊來管理數據的，文件系統的塊通常是磁盤塊的整數倍。文件系統的塊一般為幾千字節(byte)，磁盤塊一般為512字節(byte)。

HDFS也有Block的概念，但它的塊是一個很大的單元，默認是64MB。像硬盤中的文件系統一樣，在HDFS中的文件將會按塊大小進行分解，并作為獨立的單元進行存儲。但和硬盤中的文件系統不一樣的是，存儲在塊中的硬的一個比塊小的文件并不會占據一個塊大小盤物理空間（HDFS中一個塊只存儲一個文件的內容）。

那為什么HDFS中的塊如此之大呢?

在HDFS學習(一) – HDFS設計中，我們曾說過，對HDFS來說，讀取整個數據的時間延遲要比讀取到第一條記錄的數據延遲更重要，就體現在這里。HDFS的Block設計的如此之大，也就是為了最小化尋道時間。把一個數據塊設計的足夠大，就能夠使得數據傳輸的時間顯著地大于尋找到Block所在時間。這樣，傳輸一個由多個Block組成的文件的時間就取決于磁盤的傳輸速率。

舉一個簡單的例子，假設尋道時間大約為10ms，傳輸速度為100MB/s。為了使得尋道時間僅為傳輸時間的1%，我們就需要設置塊的大小為100MB。HDFS默認的Block size是64MB，但是更多的企業里邊，已經設置成128M，而且這個參數將隨著新一代硬盤速度的增長而增長。

而Block Size的值也不宜設置過大，通常，Mapreduce中的Map任務一次只處理一個Block中的數據，如果啟動太少的Task(少于集群中的節點的數量)，作業的速度就會比較慢。

對HDFS進行塊抽象有哪些好處呢？

一、一個顯而易見的好處是：一個文件的大小，可以大于網絡中任意一個硬盤的大小。

文件的塊并不需要存儲在同一個硬盤上，一個文件的快可以分布在集群中任意一個硬盤上。事實上，雖然實際中并沒有，整個集群可以只存儲一個文件，該文件的塊占滿整個集群的硬盤空間。

二、使用抽象塊而非整個文件作為存儲單元，大大簡化了系統的設計。

簡化設計，對于故障種類繁多的分布式系統來說尤為重要。以塊為單位，一方面簡化存儲管理，因為塊大小是固定的，所以一個硬盤放多少個塊是非常容易計算的；另一方面，也消除了元數據的顧慮，因為Block僅僅是存儲的一塊數據，其文件的元數據，例如權限等就不需要跟數據塊一起存儲，可以交由另外的其他系統來處理。

三、塊更適合于數據備份，進而提供數據容錯能力和系統可用性。

為了防止數據塊損壞或者磁盤或者機器故障，每一個block都可以被分到少數幾天獨立的機器上(默認3臺)。這樣，如果一個block不能用了，就從其他的一處地方，復制過來一份。詳細的關于HDFS數據完整性的問題，將在《Hadoop I/O學習(一) – 數據完整性》中詳細介紹。

原文鏈接：http://shitouer.cn/2012/12/hdfs-block-introduction/

編輯推薦】