成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

經驗總結 遷移Hadoop0.20.2問題詳解

開發 架構 Hadoop
Hadoop你是否熟悉,那么Hadoop0.20.2呢,這里向大家介紹一下遷移到Hadoop0.20.2后的一些感想,歡迎大家一起來學習Hadoop0.20.2方面的知識。

本節向大家介紹一下有關Hadoop0.20.2方面的知識,遷移到Hadoop0.20.2后的一些感想,相信通過本節的介紹大家對Hadoop0.20.2有更深刻的認識,讓我們一起來關注Hadoop0.20.2吧。
------------------------------------------------

1.問題:
離Hadoop0.20.2的發布也有三個月了,平時一直在用http://www.cloudera.com/提供的一個Hadoop版本,它也是基于Hadoop0.18.3開發的,因為它的一個比較穩定的版本。但是最近在用hypertable0.9.2.7的時候發現我本地jni調用老是會出現HyperspaceCOMMalreadycommected,查了一下原因,是hyperspace的COMM被占用,連接出錯,網上找了一下,作者也說有這個問題,還說什么修改一下也不是很難。看了一下它的源代碼,是socket連接拋出來的,要改的話要修改hyperspace模塊的代碼,由于hyperspace底層是用oracle的berkeleydb的,對它也不是很熟悉,所以沒去改了,想直接升級到0.9.3.1,看它有沒有解決這個問題,但是讓我失望的是它還是沒有解決這個問題,到是在它的thrift端做了很多改動,而且把對hypertable表的TableSplit也加入了它的thrift服務端中,也正是我想要的,呵呵,這樣也可以繞過前面的hyperspace的問題,因為它在thrift的服務端只生成了一個HypertableClient,這樣就不會出現COMMconnected的問題了,而且對它的Cell也做了比較大的改動,用了***的Hadoop0.20.2。沒辦法,要升就一起升吧,Hadoop0.18.3->Hadoop0.20.2;hypertable0.9.2.7->hypertable0.9.3.1,原來的TableInputFomat和TableOutputFormat看來都要做修改了,于是就有了下面的這些感想。

2.Hadoop0.20.2的一些變化
新的版本不管從目錄結構和API上都有了比較大的變化,不管從0.18到0.19,還是從0.19到0.20目錄結構都發生了很大的變化,***感覺就是模塊化的意識越來越強了,而且看起來也更清晰了。

2.1目錄結構的變化
主要有三個目錄,core,hdfs,mapred。
◆主要是把原來共用的功能都提取到了core中,其中有conf,fs,io,ipc,net,record等。還加入了類似于unix目錄的權限功能。
◆把hdfs單獨放入了一個目錄中,而且把hdfs的配置文件也提取了出來,叫hdfs-default.xml,其中hdfs目錄又分了protocol,提供了一些Client端的通訊協議,還有server和tools目錄,其中server目錄又分成了balancer,common,datanode,namenode,protocol,這里的protocol目錄中提供了DataNode和NameNode的通訊協議,還有DataNode之間的通訊協議等。
◆把mapred也獨立出來,而且也把mapred的配置文件也提取出來,放入了mapred-default.xml中,它也有兩個子目錄,一個是mapred,其中放了一些mapreduce的核心類,還有一些Deprecated的類,用于向后兼容,不過一般都不提倡用這些接口和類了。另一個目錄是mapreduce目錄,這里有一些對外的抽象類和接口,用于進行根據自己的需要進行擴展,在這個目錄中有一個叫lib的目錄,它提供了一些框架提供的常用的input,output,map,reduce方法。

2.2API的變化
在Hadoop0.20.2中,API的變化也是很大的,主要把一些接口變成了抽象類,以此在提高可擴展性,進行了一些重構,變化還是滿大的。下面舉一個例子來說明這里的變化。
2.2.1Hadoop的一個example
這是Hadoop中的一個WordCount的例子,從中你可以發現Map和Reduce的接口變化,還有JobClient的變化。

3.Hypertable0.9.3.1的一些變化
主要感覺它的thrift的java客戶端變化很大。為了支持mapreduce,很多東西都集成到了thrift服務端。加入了MapReduceconnector,Hyperspace的replication,還有DUMPTABLE等。在它的thrift的客戶端中加入了InputFormat和OutputFormat,還有TableSplit,可以用來對Hypertable中的表進行Key和Value對的讀取,還是很方便的。但是它沒有對TableSplit后的range_location進行處理,只是用了“localhost“來進行Host的連接,不知道是為什么?
看來要在Hypertable中使用kfs還是要進行源代碼的編譯還有kfs的動態庫。本節關于Hadoop0.20.2的相關內容介紹到這里。

【編輯推薦】

  1. 專家推薦 Hadoop0.20.2集群配置指導手冊
  2. Hadoop0.20.2集群配置入門指導手冊
  3. Hadoop文件系統如何快速安裝?
  4. Hadoop集群搭建過程中相關環境配置詳解
  5. Hadoop完全分布模式安裝實現詳解

 

 

責任編輯:佚名 來源: csdn.net
相關推薦

2010-06-04 17:21:48

2010-06-04 17:34:13

Hadoop0.20.

2010-06-02 09:06:26

SVN學習

2010-05-19 17:24:55

MySQL編碼

2009-10-15 09:27:00

2010-03-18 17:24:51

云計算

2009-09-16 17:13:54

學習Linq

2009-08-19 09:24:43

AJAX引擎經驗總結

2009-09-29 16:32:11

OJB Hiberna

2018-06-07 09:29:34

數據庫MySQL慢SQL

2018-12-04 09:07:36

運維問題排查

2019-05-07 11:24:07

ReactJavascriptTypescript

2010-06-04 10:18:43

Hadoop配置

2009-11-17 11:24:00

PHP應用技巧

2009-08-20 17:35:47

Servlet和JSP

2009-09-11 13:29:31

LINQ查詢操作

2009-09-16 17:44:54

LINQ to SQL

2011-07-08 13:15:52

JSP

2009-09-08 10:57:55

LINQ查詢操作

2009-09-08 16:02:47

Linq使用Group
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产在线一区二区三区 | 毛片视频免费 | 九九色综合| 特级生活片 | 日韩不卡一区二区 | 亚洲精品中文字幕 | 成人免费黄色片 | 自拍偷拍视频网 | 91精品一区 | 国产激情福利 | 欧美一区二区三区在线看 | jvid精品资源在线观看 | 国产一区二区三区在线看 | 夜夜操操操 | 亚洲国产中文字幕 | 成人午夜视频在线观看 | 精品一区二区三区入口 | 国产成人精品一区二区三区在线观看 | 巨大荫蒂视频欧美另类大 | 亚洲毛片在线 | 国产精品视频一二三区 | 一级黄色片免费 | 久久精品久久久 | 国产传媒在线观看 | 性高湖久久久久久久久3小时 | 亚洲一区二区三区四区五区中文 | 精品美女久久久 | 日韩一二区在线 | 国产区视频在线观看 | 亚洲精品二区 | 日本国产欧美 | 国产精品美女久久久久aⅴ国产馆 | 欧美一区二区久久 | 91免费在线看 | 久久小视频 | 久久久久久久久久久一区二区 | 精品欧美色视频网站在线观看 | 日日操夜夜操天天操 | 国产成人麻豆免费观看 | 91九色porny首页最多播放 | 国产一区二区三区四区在线观看 |