成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

HBase完全分布式集群部署

數據庫 其他數據庫 分布式
HBase是一個分布式的、面向列的開源數據庫,它不同于一般的關系數據庫,是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。

1.簡介

HBase是一個分布式的、面向列的開源數據庫,它不同于一般的關系數據庫,是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式。HBase使用和 BigTable非常相同的數據模型。用戶存儲數據行在一個表里。一個數據行擁有一個可選擇的鍵和任意數量的列,一個或多個列組成一個ColumnFamily,一個Fmaily下的列位于一個HFile中,易于緩存數據。表是疏松的存儲的,因此用戶可以給行定義各種不同的列。在HBase中數據按主鍵排序,同時表按主鍵劃分為多個Region。

在分布式的生產環境中,HBase 需要運行在 HDFS 之上,以 HDFS 作為其基礎的存儲設施。HBase 上層提供了訪問的數據的 Java API 層,供應用訪問存儲在 HBase 的數據。在 HBase 的集群中主要由 Master 和 Region Server 組成,以及 Zookeeper,具體模塊如下圖所示:

簡單介紹一下 HBase 中相關模塊的作用:

Master

HBase Master用于協調多個Region Server,偵測各個RegionServer之間的狀態,并平衡RegionServer之間的負載。HBaseMaster還有一個職責就是負責分配Region給RegionServer。HBase允許多個Master節點共存,但是這需要Zookeeper的幫助。不過當多個Master節點共存時,只有一個Master是提供服務的,其他的Master節點處于待命的狀態。當正在工作的Master節點宕機時,其他的Master則會接管HBase的集群。

Region Server

對于一個RegionServer而言,其包括了多個Region。RegionServer的作用只是管理表格,以及實現讀寫操作。Client直接連接RegionServer,并通信獲取HBase中的數據。對于Region而言,則是真實存放HBase數據的地方,也就說Region是HBase可用性和分布式的基本單位。如果當一個表格很大,并由多個CF組成時,那么表的數據將存放在多個Region之間,并且在每個Region中會關聯多個存儲的單元(Store)。

Zookeeper

對于 HBase 而言,Zookeeper的作用是至關重要的。首先Zookeeper是作為HBase Master的HA解決方案。也就是說,是Zookeeper保證了至少有一個HBase Master 處于運行狀態。并且Zookeeper負責Region和Region Server的注冊。其實Zookeeper發展到目前為止,已經成為了分布式大數據框架中容錯性的標準框架。不光是HBase,幾乎所有的分布式大數據相關的開源框架,都依賴于Zookeeper實現HA。

HBase集群建立在hadoop集群基礎之上,所以在搭建HBase集群之前需要把Hadoop集群搭建起來,并且要考慮二者的兼容性。

2.環境準備

(1)各服務器其修改主機名,添加hosts文件,關閉防火墻 

  1. [root@c7001 ~]#  cat >> /etc/hosts  << EOF  
  2. 192.168.16.135  c7001  
  3. 192.168.16.80   c7002  
  4. 192.168.16.95   c7003  
  5. 192.168.16.97   c7004  
  6. 192.168.16.101  c7005  
  7. EOF 

(2)c7001配置ssh免密登陸,用于啟動集群 

  1. ssh-keygen    -t rsa   
  2. sh-copy-id   -i ~/.ssh/id_rsa.pub  c7001  
  3. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7002   
  4. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7003  
  5. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7004  
  6. ssh-copy-id  -i ~/.ssh/id_rsa.pub  c7005 

(3) 各服務器配置jdk1.7+ 

  1. [root@c7001 ~]# tar zxf jdk-8u171-linux-x64.tar.gz -C  /opt/  
  2. [root@c7001 opt]# mv jdk1.8.0_171/  jdk1.8  
  3. [root@c7001 opt]# vim /etc/profile  
  4. export JAVA_HOME=/opt/jdk1.8  
  5. export PATH=$PATH:$JAVA_HOME/bin  
  6. [root@c7001 ~] source  /etc/profile  
  7. [root@c7001 opt]# java -version  
  8. java version "1.8.0_171 

3.安裝hbase 

  1. c7003 c7004 c7005  
  2. [root@c7003 opt]# tar zxf /usr/src/hbase-1.3.0-bin.tar.gz   -C /opt/ 

修改配置文件 

  1. [root@c7003 hbase-1.3.0]# vim conf/hbase-env.sh   
  2. #修改jdk變量  
  3. JAVA_HOME=export JAVA_HOME=/opt/jdk1.8.0_121  
  4. #關閉HBase自帶的Zookeeper,使用Zookeeper集群:  
  5. export  HBASE_MANAGES_ZK=false 

編輯hbase-site.xml ,添加配置文件: 

  1. <?xml version="1.0"?>  
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  
  3. <configuration>  
  4.   <property>   
  5.     <name>hbase.rootdir</name>   
  6.     <value>hdfs://c7001:9000/hbase</value>   
  7.   </property>   
  8.   <property>   
  9.     <name>hbase.cluster.distributed</name>   
  10.     <value>true</value>   
  11.   </property>   
  12.   <property>   
  13.     <name>hbase.zookeeper.quorum</name>   
  14.     <value>c7003,c7004,c7005</value>   
  15.   </property>   
  16.   <property>   
  17.     <name>hbase.zookeeper.property.dataDir</name>   
  18.     <value>/opt/hbase-1.3.0/tmp/zk/data</value>   
  19.   </property>  
  20. </configuration>  
  21. vi   regionservers  
  22. #加入如下內容:  
  23. c7004  
  24. c7005 

把Hbase復制到其他機器 

  1. [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7004:/opt/  
  2. [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7005:/opt/ 

啟動集群

  1. [root@c7003 hbase-1.3.0]$ bin/start-hbase.sh  

web訪問 ip:16010

各節點進程(The picture is replicating)

 

 

責任編輯:龐桂玉 來源: 馬哥Linux運維
相關推薦

2019-09-26 15:43:52

Hadoop集群防火墻

2020-07-03 13:29:08

Redis集群哈希槽

2021-07-09 05:49:53

分布式代碼算法

2017-09-11 15:17:01

分布式集群負載均衡

2022-10-19 08:39:46

?可?分布式集群

2017-08-10 10:17:32

Hadoop分布式搭建

2022-03-29 23:17:52

PostgreSQL集群Citus

2014-07-15 11:15:44

hadoop分布式部署

2018-11-15 12:35:25

Ceph分布式存儲

2017-10-19 08:45:15

存儲系統HBase

2020-07-15 09:20:48

MyCatMySQL分布式

2022-03-21 19:44:30

CitusPostgreSQ執行器

2022-03-27 06:37:37

SQLPostgreSQL集群

2011-04-01 14:28:58

zabbix應用proxy

2022-01-17 09:18:28

JMeter分布式壓測

2013-02-01 14:23:22

vSphere

2019-10-10 09:16:34

Zookeeper架構分布式

2023-05-29 14:07:00

Zuul網關系統

2017-09-01 05:35:58

分布式計算存儲

2019-06-19 15:40:06

分布式鎖RedisJava
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 7777在线视频 | 亚洲第一在线 | av中文在线 | 国产精品久久久爽爽爽麻豆色哟哟 | 国产一区在线免费 | 先锋av资源在线 | 欧美精品在线一区二区三区 | 水蜜桃亚洲一二三四在线 | 国产成年人小视频 | 国产午夜精品一区二区三区四区 | 91视频网址 | 女同久久 | 精品亚洲一区二区三区 | 日韩精品在线观看视频 | 毛片网站在线观看 | 在线永久看片免费的视频 | h在线观看| 国产高清在线 | 国产区在线 | aaa国产大片 | 欧美日韩精品区 | 久久国产精品一区 | 精品一区电影 | 国产精品久久久久久久久久久免费看 | 四虎精品在线 | 欧美激情久久久 | 超碰日本 | 午夜极品 | a欧美| 国产一区二区三区免费 | 欧美99 | 精品欧美在线观看 | 欧美成年网站 | 6080亚洲精品一区二区 | 涩涩片影院 | 最新午夜综合福利视频 | 91一区二区| 欧美精品久久久久 | 中文字幕日韩三级 | 国产极品车模吞精高潮呻吟 | 日韩精品一区二区三区中文在线 |