成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

一文看懂HIVE和HBASE的區別

大數據
Apache HBase是一種Key/Value系統,它運行在HDFS之上。和Hive不一樣,Hbase的能夠在它的數據庫上實時運行,而不是運行MapReduce任務。Hive被分區為表格,表格又被進一步分割為列簇。

兩者分別是什么?

Apache Hive是一個構建在hadoop基礎設施之上的數據倉庫。通過Hive可以使用HQL語言查詢存放在HDFS上的數據。HQL是一種類SQL語言,這種語言最終被轉化為Map/Reduce. 雖然Hive提供了SQL查詢功能,但是Hive不能夠進行交互查詢–因為它只能夠在Haoop上批量的執行Hadoop。

[[198301]]

Apache HBase是一種Key/Value系統,它運行在HDFS之上。和Hive不一樣,Hbase的能夠在它的數據庫上實時運行,而不是運行MapReduce任務。Hive被分區為表格,表格又被進一步分割為列簇。列簇必須使用schema定義,列簇將某一類型列集合起來(列不要求schema定義)。例如,“message”列簇可能包含:“to”, ”from” “date”, “subject”, 和”body”. 每一個 key/value對在Hbase中被定義為一個cell,每一個key由row-key,列簇、列和時間戳。在Hbase中,行是key/value映射的集合,這個映射通過row-key來唯一標識。Hbase利用Hadoop的基礎設施,可以利用通用的設備進行水平的擴展。

兩者的特點

Hive幫助熟悉SQL的人運行MapReduce任務。因為它是JDBC兼容的,同時,它也能夠和現存的SQL工具整合在一起。運行Hive查詢會花費很長時間,因為它會默認遍歷表中所有的數據。雖然有這樣的缺點,一次遍歷的數據量可以通過Hive的分區機制來控制。分區允許在數據集上運行過濾查詢,這些數據集存儲在不同的文件夾內,查詢的時候只遍歷指定文件夾(分區)中的數據。這種機制可以用來,例如,只處理在某一個時間范圍內的文件,只要這些文件名中包括了時間格式。

HBase通過存儲key/value來工作。它支持四種主要的操作:增加或者更新行,查看一個范圍內的cell,獲取指定的行,刪除指定的行、列或者是列的版本。版本信息用來獲取歷史數據(每一行的歷史數據可以被刪除,然后通過Hbase compactions就可以釋放出空間)。雖然HBase包括表格,但是schema僅僅被表格和列簇所要求,列不需要schema。Hbase的表格包括增加/計數功能。

限制

Hive目前不支持更新操作。另外,由于hive在hadoop上運行批量操作,它需要花費很長的時間,通常是幾分鐘到幾個小時才可以獲取到查詢的結果。Hive必須提供預先定義好的schema將文件和目錄映射到列,并且Hive與ACID不兼容。

HBase查詢是通過特定的語言來編寫的,這種語言需要重新學習。類SQL的功能可以通過Apache Phonenix實現,但這是以必須提供schema為代價的。另外,Hbase也并不是兼容所有的ACID特性,雖然它支持某些特性。最后但不是最重要的–為了運行Hbase,Zookeeper是必須的,zookeeper是一個用來進行分布式協調的服務,這些服務包括配置服務,維護元信息和命名空間服務。

應用場景

Hive適合用來對一段時間內的數據進行分析查詢,例如,用來計算趨勢或者網站的日志。Hive不應該用來進行實時的查詢。因為它需要很長時間才可以返回結果。

Hbase非常適合用來進行大數據的實時查詢。Facebook用Hbase進行消息和實時的分析。它也可以用來統計Facebook的連接數。

總結

Hive和Hbase是兩種基于Hadoop的不同技術–Hive是一種類SQL的引擎,并且運行MapReduce任務,Hbase是一種在Hadoop之上的NoSQL 的Key/vale數據庫。當然,這兩種工具是可以同時使用的。就像用Google來搜索,用FaceBook進行社交一樣,Hive可以用來進行統計查詢,HBase可以用來進行實時查詢,數據也可以從Hive寫到Hbase,設置再從Hbase寫回Hive。

責任編輯:武曉燕 來源: 36大數據
相關推薦

2021-07-05 00:00:55

TomcatNginxApache

2021-04-15 09:41:30

云計算PAASSAAS

2020-03-31 14:40:24

HashMap源碼Java

2025-06-20 08:00:00

硬路由軟路由網絡

2016-08-18 00:21:12

網絡爬蟲抓取網絡

2025-06-27 02:15:00

芯片流程數字芯片

2023-07-14 08:00:00

ORMRust ORMSQL

2019-05-22 09:50:42

Python沙箱逃逸網絡攻擊

2019-07-01 09:22:15

Linux操作系統硬件

2024-08-12 12:30:27

2017-05-31 11:47:21

互聯網

2019-07-09 10:14:04

云計算行業科技

2019-07-11 11:39:31

云計算操作系統IaaS

2023-06-27 07:04:39

2023-07-07 11:36:29

人工智能基礎模型

2021-08-02 06:56:19

TypeScript編程語言編譯器

2025-01-20 09:15:00

iOS 18.3蘋果iOS 18

2025-05-20 13:52:12

GPU集群微軟

2024-04-10 13:50:41

CentOSUbuntu操作系統

2018-02-02 11:17:42

IaaSPaaSSaaS
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩在线视频一区 | 在线欧美视频 | 欧美日韩中文字幕在线播放 | 国产又色又爽又黄又免费 | 亚洲综合无码一区二区 | 国产精品久久影院 | 桃花av在线 | 欧美亚洲视频在线观看 | 九九久久精品视频 | 久久99网| 日本一区二区高清不卡 | 九色av| 黄色大片免费播放 | 欧美精品一区二区三区在线播放 | 国产伦一区二区三区四区 | 在线视频一区二区三区 | 国产在线1 | 久操福利| 国产精品成人一区二区三区夜夜夜 | 日本三级播放 | 精品亚洲一区二区 | 欧美黑人一级爽快片淫片高清 | 正在播放一区二区 | 一级视频在线免费观看 | jav成人av免费播放 | 嫩草研究影院 | 成人性视频免费网站 | a久久久久久 | 一区二区三区在线 | 精品国产一区二区三区成人影院 | 超碰精品在线观看 | 亚洲一区在线播放 | 人人草人人干 | 一区二区三区日韩 | 欧美一卡二卡在线观看 | 国产免费又黄又爽又刺激蜜月al | 国产日批| 99久久久久久久 | 日本中出视频 | 久久精品亚洲精品国产欧美 | 天天干天天操天天看 |