成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Hive任務執行很慢,但是導入數據非常的快?

大數據
Hive使用Hadoop來執行查詢,其查詢執行速度是很慢的,但是使用load data向Hive中導入數據卻非常快,這是因為Hive采取的是讀時模式(Schema On Read)。

讀時模式和寫時模式

Hive使用Hadoop來執行查詢,其查詢執行速度是很慢的,但是使用load data向Hive中導入數據卻非常快,這是因為Hive采取的是讀時模式(Schema On Read)。

  • 讀時模式:讀取數據的時候,對數據的類型、格式做檢查;
  • 寫時模式:寫入數據的時候,對數據的類型、格式等規范做檢查;

將數據存到Hive的數據表時,Hive采用的是“讀時模式”,意思是針對寫操作不會做任何校驗,只是簡單的將文件復制到Hive的表對應的HDFS目錄。跟“讀時模式”相對應的是“寫時模式”,RDBMS一般采用“寫時模式”,在將數據寫入到數據表的時候會檢查每一條記錄是否合法,如果檢查不通過會直接返回失敗信息。

 

[[322621]]

由于向Hive中存入數據的只是簡單的文件復制和粘貼,所以導入數據速度非常的快。當讀取、查詢的時候,才會根據表模式來解釋數據,這個時候如果遇到了不符合模式的數據,Hive會直接將數據解析成NULL。

讀時模式的好處

Hive采用讀時模式帶來了以下幾個好處:

  • 向Hive表中新增數據非常的快,通常情況下對于外來數據,采用的方法是直接用Hadoop命令將文件上傳到一個HDFS目錄,Hive直接讀這個目錄;
  • 一份數據可以被解析成多種模式,存儲在Hive表中的數據跟Hive本身沒有關系,數據也可以被其他工具比如Pig來處理;

導入數據

  1. hive> load data local inpath '/root/usr.data' into table usr; 

 

Hive任務執行很慢,但是導入數據非常的快?

 

 

責任編輯:未麗燕 來源: 今日頭條
相關推薦

2020-08-19 12:40:10

代碼項目數字代碼

2010-01-10 17:56:36

Firefox 3.7Firefox

2010-01-06 09:38:12

FirefoxFirefox 3.7

2021-10-21 22:03:00

PythonNumpy函數

2021-08-17 10:34:19

Python數據科學機器學習

2018-09-18 14:43:30

HBase查詢數據

2023-03-07 08:34:01

2021-07-28 07:22:40

SQL順序Hive

2024-11-06 10:59:00

2020-08-22 07:30:14

微軟瀏覽器Windows

2014-08-05 09:37:07

大數據

2019-08-23 11:44:16

5G物聯網技術

2025-04-15 08:20:00

FastAPI異步函數

2021-09-06 07:28:31

大數據 kerberos 認證

2024-06-20 12:48:17

Rustfd

2009-09-29 10:40:12

政府應急指揮平臺

2023-12-13 13:03:53

任務調度執行XXLJOB

2010-09-07 14:18:55

Perl

2022-10-18 10:41:44

Flowable服務任務

2019-05-27 22:59:39

面試SQL語句數據庫
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 天天草天天操 | 久久噜噜噜精品国产亚洲综合 | 国产一区三区视频 | 亚洲一区二区三 | 精品久久久久久久久久久久久久 | 国产精品日韩一区二区 | 亚洲国产成人精品久久 | 国产在线视频一区二区 | 欧区一欧区二欧区三免费 | 日韩欧美高清 | 激情的网站 | 精品视频一区二区三区在线观看 | 国产高清在线视频 | 国产成人一区二区三区 | 久久综合九色综合欧美狠狠 | 一区二区三区亚洲 | 成人一级片在线观看 | 美女视频一区 | 国产精品视频一区二区三区四区国 | 99精品久久久久久中文字幕 | 精品96久久久久久中文字幕无 | 国产一区二区在线播放 | 97国产超碰| 91青娱乐在线| 欧美日韩国产在线观看 | 国产一区二区电影 | 天天干天天插 | 久久亚洲欧美日韩精品专区 | 亚洲乱码一区二区三区在线观看 | 日本三级线观看 视频 | www久久99| 久久久久亚洲精品 | 国产精品成人在线观看 | 一区二区精品 | 日本三级网 | 四虎永久免费在线 | 国产精品美女久久久久aⅴ国产馆 | 99精品视频一区二区三区 | 一区二区日韩精品 | 午夜一区二区三区在线观看 | av在线播放免费 |