問題

Hive執(zhí)行count(*)不走M(jìn)R呢?

先說結(jié)論：如果表數(shù)據(jù)是insert進(jìn)表的，count(*)統(tǒng)計(jì)時(shí)，帶where條件執(zhí)行時(shí)候Hive會(huì)執(zhí)行MR，如果不帶where條件，Hive會(huì)從元數(shù)據(jù)庫(kù)表metastore.TABLE_PARAMS中直接獲取numRows字段的值獲取記錄數(shù)。下面創(chuàng)建表進(jìn)行驗(yàn)證，在驗(yàn)證時(shí)發(fā)現(xiàn)了Hive在無條件count(*)統(tǒng)計(jì)中的一個(gè)bug，bug現(xiàn)象也會(huì)下面驗(yàn)證。

創(chuàng)建測(cè)試表

create database testdb;
use testdb;
--測(cè)試hive
create table test(
  id int comment 'id'
)comment '測(cè)試hive'
insert into test values('1001');
select count(*) from test ;
select count(*) from test where id>=1001;

hive表存儲(chǔ)位置

表描述信息

hdfs上生成了數(shù)據(jù)

數(shù)據(jù)內(nèi)容

從上面兩個(gè)圖上可以看到建表后插入一條記錄，會(huì)在metastore.TABLE_PARAMS 表中記錄該表的信息，并且用numRows記錄該表的數(shù)量，查看HDFS該表所在的路徑生成了000000_0的文件，下載下來查看確實(shí)是1001。

執(zhí)行count(*)

不帶where條件執(zhí)行：查詢非常快，也并沒有走M(jìn)R。

不帶where條件執(zhí)行結(jié)果

帶where條件執(zhí)行：查詢比較慢，且走了MR。

可以驗(yàn)證Hive不帶where條件的執(zhí)行不走M(jìn)R，而是直接從元數(shù)據(jù)里獲取表的行數(shù)，這也算是一種優(yōu)化，畢竟Hive存儲(chǔ)的數(shù)據(jù)大多是T+1的數(shù)據(jù)，數(shù)據(jù)寫入后一般不會(huì)改變。

Hive的一個(gè)bug

本地創(chuàng)建一個(gè)ids.txt文件，通過hadoop fs -put 命令上傳到表映射路徑/user/hive/warehouse/testdb.db/test上。

創(chuàng)建文件并上傳到表路徑。

hdfs文件下載并查看結(jié)果

執(zhí)行不帶where條件的count(*)結(jié)果就是錯(cuò)誤的，而帶where條件的是正確的。

然后通過Hive執(zhí)行帶條件和不帶條件的查詢結(jié)果發(fā)現(xiàn)，不帶where條件中的查詢結(jié)果是1，而帶where條件的結(jié)果是3，說明直接通過hadoop fs -put把文件上傳到路徑的方式會(huì)導(dǎo)致Hive在沒有條件的統(tǒng)計(jì)下結(jié)果是錯(cuò)誤的，也側(cè)面證明了無條件的count(*)是從元數(shù)據(jù)庫(kù)直接取的數(shù)據(jù)，而用select * 查詢時(shí)結(jié)果卻是正確的。

解決方法

要解決上面問題，可以使用Load data指令導(dǎo)入數(shù)據(jù)，但是有如下幾點(diǎn)要注意：

• 有LOCAL表示從本地文件系統(tǒng)加載，文件會(huì)被拷貝到HDFS中。
• 無LOCAL表示從HDFS中加載數(shù)據(jù)，文件直接被移動(dòng)，而不是拷貝。
• OVERWRITE 表示是否覆蓋表中數(shù)據(jù)(或指定分區(qū)的數(shù)據(jù))，沒有OVERWRITE 會(huì)直接APPEND，而不會(huì)濾重。
• 如果加載同樣文件名的文件，會(huì)被自動(dòng)重命名。

load data

用load data指令上傳完數(shù)據(jù)后，再次用無條件的count(*)統(tǒng)計(jì)結(jié)果，發(fā)現(xiàn)Hive又走了MR統(tǒng)計(jì)，并且結(jié)果是正確的。

總結(jié)

用insert into 的方式插入到Hive表數(shù)據(jù)時(shí)，元數(shù)據(jù)會(huì)記錄插入的數(shù)量，為了優(yōu)化查詢，無條件count(*)查詢時(shí)直接查元數(shù)據(jù)中記錄的numRows字段，導(dǎo)致結(jié)果不準(zhǔn)確。