Apache Hadoop 2.6.0發布——異構存儲,長時間運行的服務與滾動升級支持
我很高興地宣布,在Apache的Hadoop社區已經發布了Apache Hadoop的2.6.0!
特別是,我們很高興在此版本中相關的三個主要片:異構存儲在HDFS使用SSD和內存層,支持長時間運行在YARN服務和滾動升級,將升級您的集群軟件,然后重新啟動升級的節點而無需關閉群集或丟失正在進行的工作。YARN作為其架構中心,Hadoop的不斷吸引新的引擎在數據平臺中運行,作為組織想要在一個單一的存儲庫高效地存儲數據,并與它同時以不同的方式進行交互。
非常感謝所有的貢獻者和提交這些人所合作過這個版本,共有近900個 JIRA問題在四個方面解決的:
- Hadoop通用:231個 JIRA問題解決
- Hadoop的HDFS:305個 JIRA問題解決
- Hadoop的YARN:290個 JIRA問題解決
- Hadoop的MapReduce的:70個 JIRA問題解決
- Apache Hadoop2.6.0的亮點
以下是有關的最重要的特征的一些細節。對于功能,改進和bug修復的完整列表,
加強支持異構存儲層的HDFS
管理員可以在一個限定的Datanode跨磁盤存儲層,以及應用程序可利用的API將數據存儲到這些不同的存儲層。這意味著管理員可以優化他們的應用程序通過使用Hadoop運行:
- 在SSD存儲層以提高讀/寫延遲
- 內存存儲層進行快速讀/寫要么臨時數據或故障的應用程序(如星火,TEZ等)
- 歸檔存儲層,以提高存儲效率。
支持長時間運行的服務在YARN
Apache Hadoop2.6.0包括增強了核心Apache Hadoop YARN平臺,使長期存在的服務(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中運行,并充分利用其優勢的容錯,安全性和易維護性。
Apache Hadoop最初架構,支持批量處理數據。但有些應用“永遠在線”,隨時準備處理輸入數據。例如,Apache Storm必須準備在一天中的任何時間實時處理數據流,在一年中的任何一天。
用Hadoop2.6.0,集群現在可以利用相同的基礎設施安排,執行和管理所有期限的多個工作負載。長住服務,如 Storm和HBase可以和平共處的一起是在特定的時間點(如Apache Hive或Apache Pig),用于特設工作應用程序。
滾動升級在YARN工作,保留重新啟動
新的工作,維護重啟功能可以讓應用程序保持其完成和正在進行的國家,在一個節點故障或重啟的臉。 YARN現在可以提供滾動以最小的服務質量下降用于運行應用程序的升級支持。已完成或正在進行中的應用工作節點重啟過程中保持不變,進度回升,而不必從頭開始重新啟動所有任務。
展望Apache Hadoop2.7版本
為ApacheHadoop的下一個版本的主要驅動力正在向JDK7+即我們現在要求使用JDK7的ApacheHadoop的前進,也支持JDK8作為一個運行時。
在ApacheHadoop社區開展的其他重要活動有:
- 在HDFS進行糾刪碼支持 - HDFS-7285
- 支持磁盤YARN調度和隔離的資源 - YARN-2139
- 容器資源委派延長YARN資源管理 - YARN-1488
與往常一樣,你可以沿著發展,通過跟蹤路線圖的Wiki的Apache Hadoop跟隨。
致謝
非常感謝大家誰促成了這一版本,和整個Apache Hadoop社區。
原文出自:http://blog.csdn.net/yangzhenping/article/details/41800691