了解hadoop，首先就需要先了解hadoop的數(shù)據(jù)流，就像了解servlet的生命周期似的。hadoop是一個分布式存儲（hdfs）和分布式計算框架（mapreduce），但是hadoop也有一個很重要的特性：hadoop會將mapreduce計算移動到存儲有部分?jǐn)?shù)據(jù)的各臺機(jī)器上。

術(shù)語

MapReduce 作業(yè)（job）是客戶端需要執(zhí)行的一個工作單元：它包括輸入數(shù)據(jù)、mapreduce程序和配置信息。hadoop將作業(yè)分成若干個小任務(wù)（task）來執(zhí)行，其中包括兩類任務(wù)：map任務(wù)和reduce任務(wù)。

有兩類節(jié)點控制著作業(yè)執(zhí)行過程：一個jobtracker及一系列tasktracker。 jobtracker通過調(diào)度tasktracker上運行的任務(wù)，來協(xié)調(diào)所有運行在系統(tǒng)上的作業(yè)。tasktracker在運行任務(wù)的同時將運行進(jìn)度報 告發(fā)送給jobtracker，jobtracker由此記錄每項作業(yè)任務(wù)的整體進(jìn)度情況。如果其中一個任務(wù)失敗，jobtracker可以在另外一個 tasktracker節(jié)點上重新調(diào)度該任務(wù)。

輸入

hadoop將mapreduce的輸入數(shù)據(jù)劃分成等長的小數(shù)據(jù)塊，稱為輸入分片（input split）或簡稱分片。hadoop為每個分片構(gòu)建一個map任務(wù)，并由該任務(wù)來運行用戶自定義的map函數(shù)從而處理分片中的每條記錄。 對于大多數(shù)作業(yè)來說，一個合理的分片大小趨向于HDFS的一個塊的大小，默認(rèn)是64M，不過可以針對集群調(diào)整這個默認(rèn)值。分片的大小一定要根據(jù)運行的任務(wù)來定，如果分片過小，那么管理分片的總時間和構(gòu)建map任務(wù)的總時間將決定著作業(yè)的整個執(zhí)行時間。

hadoop在存儲有輸入數(shù)據(jù)的節(jié)點上運行map任務(wù)，可以獲得***性能，這就是所謂的數(shù)據(jù)本地化優(yōu)化。 因為塊是hdfs存儲數(shù)據(jù)的最小單元，每個塊可以在多個節(jié)點上同時存在（備份），一個文件被分成的各個塊被隨機(jī)分部在多個節(jié)點上，因此如果一個map任務(wù) 的輸入分片跨越多個數(shù)據(jù)塊，那么基本上沒有一個節(jié)點能夠恰好同時存在這幾個連續(xù)的數(shù)據(jù)塊，那么map任務(wù)就需要首先通過網(wǎng)絡(luò)將不存在于此節(jié)點上的數(shù)據(jù)塊遠(yuǎn) 程復(fù)制到本節(jié)點上再運行map函數(shù)，那么這種任務(wù)顯然效率非常低。

輸出

map任務(wù)將其輸出寫入到本地磁盤，而非HDFS。這是因為map的輸出是中間結(jié)果：該中間結(jié)果有reduce任務(wù)處理后才產(chǎn)生最終結(jié)果（保存在hdfs中）。而一旦作業(yè)完成，map的輸出結(jié)果可以被刪除。

reduce任務(wù)并不具備數(shù)據(jù)本地化優(yōu)勢：單個reduce任務(wù)的輸入通常來自于所有的mapper任務(wù)的輸出。reduce任務(wù)的輸出通常存儲于HDFS中以實現(xiàn)可靠存儲。

數(shù)據(jù)流

作業(yè)根據(jù)設(shè)置的reduce任務(wù)的個數(shù)不同，數(shù)據(jù)流也不同，但大同小異。reduce任務(wù)的數(shù)量并非由輸入數(shù)據(jù)的大小決定的，而是可以通過手動配置指定的。

沒有reduce任務(wù)

原文出自：http://blog.csdn.net/chaofanwei/article/details/39695743