背景

大數(shù)據(jù)時代，企業(yè)數(shù)據(jù)爆發(fā)式增長，如國內(nèi)某企業(yè)平均每天有300億筆業(yè)務(wù)，業(yè)務(wù)高峰期間每天可達(dá)600億筆業(yè)務(wù)。隨著數(shù)據(jù)的與日俱增，業(yè)務(wù)驅(qū)動下的數(shù)據(jù)分析靈活性要求越來越高，不同場景的數(shù)據(jù)分不同業(yè)務(wù)系統(tǒng)而構(gòu)建，導(dǎo)致存儲冗余嚴(yán)重，缺乏高效、統(tǒng)一的融合數(shù)據(jù)分析。

業(yè)界大數(shù)據(jù)分析方案，每種技術(shù)都只能解決某種場景下的訴求，不能同時滿足多場景的應(yīng)用，例如：MPP數(shù)據(jù)庫，SQL語法支持好，小數(shù)據(jù)量下通過并行計(jì)算性能高，但支持萬億數(shù)據(jù)規(guī)模困難，不能有效與Hadoop生態(tài)集成，數(shù)據(jù)不能與其他大數(shù)據(jù)組件共享存儲；搜索類技術(shù)提升了性能，但是數(shù)據(jù)膨脹很大，不支持標(biāo)準(zhǔn)的SQL，不兼容老業(yè)務(wù)。

[[234872]]

Apache CarbonData是一種高性能大數(shù)據(jù)存儲方案，與Hadoop、Spark等大數(shù)據(jù)生態(tài)組件無縫集成。針對當(dāng)前大數(shù)據(jù)領(lǐng)域分析場景需求各異而導(dǎo)致的存儲冗余問題，CarbonData提供了一種新的融合數(shù)據(jù)存儲方案，以一份數(shù)據(jù)同時支持多種應(yīng)用場景，并通過多級索引、字典編碼、預(yù)聚合、動態(tài)Partition、準(zhǔn)實(shí)時數(shù)據(jù)查詢等特性提升了IO掃描和計(jì)算性能，實(shí)現(xiàn)萬億數(shù)據(jù)分析秒級響應(yīng)。

1.架構(gòu)原理

設(shè)計(jì)思路：

1. 往下生態(tài)：與Hadoop HDFS（Hadoop是當(dāng)前大數(shù)據(jù)生態(tài)的代名詞）無縫集成，一個CarbonData文件就是一個HDFS數(shù)據(jù)塊，充分利用HDFS的分布式，三份數(shù)據(jù)備份的可靠性等。
2. 往上生態(tài)：與Spark做深度集成，充分利用Spark生態(tài)(當(dāng)前業(yè)界***的計(jì)算引擎)，支持標(biāo)準(zhǔn)SQL查詢，Dataframe數(shù)據(jù)分析，支持機(jī)器學(xué)習(xí)等。隨著CarbonData的用戶越來越多，為了增強(qiáng)CarbonData的生態(tài)連接性，后續(xù)陸續(xù)支持了與Presto、Hive集成(Alpha特性)。
3. 如何做到一份數(shù)據(jù)快速查詢：利用多種索引(MDK,MinMax,倒排)，快速找到目標(biāo)數(shù)據(jù)，具體原理如下圖：

首先找到符合查詢條件的CarbonData文件；如上圖，***了2個文件，則啟動兩個Spark Task去讀數(shù)據(jù)塊（即 文件），在CarbonData文件里進(jìn)一步細(xì)分成多個Blocklet，在Blocklet里又進(jìn)一步細(xì)分成Page。

數(shù)據(jù)格式：

• 數(shù)據(jù)布局：

Block：一個hdfs文件，默認(rèn)1G，可配置

Blocklet：文件內(nèi)的列存數(shù)據(jù)塊，是最小的IO讀取單元

Column Chunk：在一個Blocklet中一列/列組的數(shù)據(jù)

Pages：Column Chunk內(nèi)的數(shù)據(jù)頁，是最小的解碼單元

• 元數(shù)據(jù)信息：

Header：Version，Schema

Footer：BlockletOffset,Index & 文件級統(tǒng)計(jì)信息

• 內(nèi)置索引和統(tǒng)計(jì)信息：

Blocklet索引：B Tree startKey, endKey

Blocklet級和Page級統(tǒng)計(jì)信息：min，max等

上圖為CarbonData內(nèi)部的文件格式，有File-header、有File-footer、有記錄元數(shù)據(jù)中心，包括schema數(shù)據(jù)、偏移量數(shù)據(jù)等。我們重點(diǎn)看一下中間的Blocklet內(nèi)容。Blocklet是數(shù)據(jù)文件內(nèi)的一個列存數(shù)據(jù)塊。Blocklet內(nèi)部按列存儲，比如說有column1_chunk、colume2_chunk，每一列數(shù)據(jù)又分為Page，Page是最小的解碼單元。另外一個特點(diǎn)是除了元數(shù)據(jù)信息以外，還有索引信息。索引信息被統(tǒng)一存在File-footer內(nèi)，它包括了Blocklet的索引，即主索引，它是一棵B樹，里面包含了start_key和end_key之間的范圍值。同時也包括 Blocklet級和Page級統(tǒng)計(jì)信息，這些統(tǒng)計(jì)信息是非常有用的，通過這些信息可以跳過 Blocklet和Page，避免不必要的 IO 和解碼。

2.安裝部署

CarbonData安裝部署非常簡單，可以參考社區(qū)文檔：

https://github.com/apache/carbondata/blob/master/docs/quick-start-guide.md

https://github.com/apache/carbondata/blob/master/docs/installation-guide.md