成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

YARN動搖了MapReduce對Hadoop的掌控

云計算 Hadoop
Hadoop被認為是運行在HDFS(分布式文件系統)上的MapReduce。通過YARN,Hadoop 2.0擴大了潛在應用的數量。

Hadoop被認為是運行在HDFS(分布式文件系統)上的MapReduce。通過YARN,Hadoop 2.0擴大了潛在應用的數量。

Hadoop一直是各種或多或少整合了統一大數據架構的開源創新的統稱。部分人認為,Hadoop的核心是一個分布式文件系統(HDFS),然而HBase和Cassandra等一系列可替代HDFS的數據庫正在動搖這一主張。

以往Hadoop有一個特殊的作業執行層——MapReduce,其在一個或多個可替代的大型并行數據持久層上執行,其中一個是HDFS。但是近期針對Hadoop推出的新一代執行層,即YARN(另一種資源協調者)消除了MapReduce上Hadoop環境嚴格的從屬性。

關鍵的是,YARN消除了一個從一開始就在制約MapReduce作業執行的瓶頸。在YARN出現之前,所有的MapReduce作業必須要通過一個后臺程序(即JobTracker)作為批處理程序運行,這一制約限制了它們的擴展性和處理速度。這些MapReduce制約迫使許多廠商自己想辦法提高速度,以避開MapReduce與生俱來的瓶頸,IBM的Adaptive MapReduce就是其中的代表。

所有的這些可能會讓人們想知道“Hadoop”與其他大數據與分析平臺和工具在“堆棧”上的區別。YARN是大數據發展的一個基礎性組件。YARN將傳統的Hadoop放到了一個可組合的、契合目的(fit-to-purpose)的平臺中,以處理數據管理、分析和交易計算等工作。

YARN將Hadoop轉變為一個開源創新的初始定義所提及的通用分布式作業執行層。雖然它們保留了對MapReduce API的向下兼容性,并繼續執行MapReduce作業,但是YARN引擎能夠執行大量由其他語言所開發的作業。

重要的是,YARN能夠成為針對大數據的不同Apache開源創新的統一線程。正如美國InfoWorld.com網站近期所指出的:“最大的勝利在于,MapReduce自身成為了一種利用Hadoop挖掘大數據的可能方式。”

這是YARN的目標,不過要想實現這一目標需要行業重新設計能夠與之協同工作的Hadoop堆棧和工具。Apache組織在其官方聲明中稱:“通過移植,任何分布式應用都能夠在YARN上運行。為了這一目的,Apache將維護一張與YARN兼容的應用列表,例如Facebook正在使用的社交圖形分析系統Apache Giraph。其他部分也將如此。”

這聽起來雖然不錯,但是需要注意到相關的免責聲明:即“通過移植”的字眼。Apache組織在聲明中稱,YARN的測試將達到廠商將分析開發工具移植到符合YARN輸出工作的程度。將開發語言移植至YARN上并不是一件無關緊要的事情。

在整個行業和不同的Apache社區以及其他開源社區中,這是否將會持續發生?如果是的話,范圍有多大?這些因素將決定YARN,即Hadoop 2.0特定功能的接受程度。考慮到Hadoop 2.0保留了對MapReduce的向下兼容性,YARN需要讓MapReduce應用了解最新的情況。這可能會大幅降低開發者接受這一新框架的速度。

此外,從大數據應用開發所使用的替代語言(R語言)和替代平臺(任何NoSQL解決方案)方面看,Hadoop 1.0或2.0版本是否能夠長期保持其目前發展勢頭的前景仍不明朗。

責任編輯:王程程 來源: IBM大數據專家
相關推薦

2013-01-21 13:22:56

IBMdW

2014-01-07 15:23:15

HadoopYARN

2014-02-14 15:30:18

HadoopYARN

2015-03-24 15:08:21

mapreducehadoop

2017-04-19 11:17:48

SparkHadoopMapReduce

2023-01-24 16:37:45

大數據大數據分析DBaaS

2010-06-07 13:35:16

Hadoop簡介

2010-06-03 16:32:09

Hadoop MapR

2019-01-29 07:14:41

2011-11-24 09:51:13

LinuxMint

2010-06-03 16:18:07

Hadoop MapR

2011-02-24 11:02:03

人才

2014-11-10 15:02:21

大數據云計算Hadoop

2013-04-24 10:47:48

Hadoop集群

2012-12-19 09:19:59

云計算服務服務供應商云技能

2012-04-23 10:30:38

Hadoop

2019-10-31 09:52:02

HadoopJava大數據

2014-01-07 14:04:13

HadoopMapReduce

2013-12-17 09:52:13

pythonhadoopmapreduce

2022-09-27 12:00:58

HadoopK8S開源
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美a在线 | 妹子干综合 | 国产露脸国语对白在线 | 日韩一区二区三区在线视频 | 不卡的av电影 | 亚洲精品久久久久久国产精华液 | 国产丝袜人妖cd露出 | 亚洲不卡在线观看 | 成人精品久久 | 欧美日韩一区二区三区在线观看 | 国产激情自拍视频 | 成人欧美一区二区三区白人 | 日韩欧美在线视频 | 日韩色视频 | 日韩免费看视频 | 天天视频一区二区三区 | 中文字幕一区二区三区四区五区 | 男人视频网站 | 在线免费观看黄视频 | 男女视频在线观看网站 | 亚洲视频中文字幕 | 欧美日一区 | 久久亚洲综合 | 国产乱码精品一区二区三区忘忧草 | 中文字幕免费观看 | 精品久久久久香蕉网 | 亚洲高清在线观看 | 午夜私人影院 | 亚洲午夜一区二区 | 国产精品久久久爽爽爽麻豆色哟哟 | 自拍视频网站 | av中文字幕网| 中文字幕亚洲在线 | 欧美一区二区在线 | 精品国产乱码久久久久久88av | 懂色av一区二区三区在线播放 | 国产精品一区在线 | 日韩成人免费 | 日韩在线视频观看 | 欧美一级久久 | 成人在线视频免费观看 |