說(shuō)到大數(shù)據(jù)，不知道大家的***反應(yīng)是什么？

Hadoop，一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。

有人會(huì)想到數(shù)據(jù)庫(kù)嗎？應(yīng)該不會(huì)！

因?yàn)樵谌藗兊母拍钪校瑐鹘y(tǒng)關(guān)系型數(shù)據(jù)庫(kù)主要應(yīng)用在OLTP（On-Line Transaction Processing聯(lián)機(jī)事務(wù)處理過(guò)程）等，以交易為核心的業(yè)務(wù)，通常是關(guān)鍵業(yè)務(wù)。

但是不知道大家注意到?jīng)]有：新的12cR2的一大特點(diǎn)就是順應(yīng)大數(shù)據(jù)應(yīng)用的需要，提供從數(shù)據(jù)倉(cāng)庫(kù)到大數(shù)據(jù)的支持。“一個(gè)數(shù)據(jù)庫(kù)同時(shí)支持OLTP和ＯLAP（Online Analytical Processing, 聯(lián)機(jī)實(shí)時(shí)分析） ，不需要?jiǎng)澐衷诰€/離線的業(yè)務(wù)。”該數(shù)據(jù)庫(kù)廠商說(shuō)。

如今，關(guān)系型數(shù)據(jù)庫(kù)可以保存任何類(lèi)型的數(shù)據(jù)，能夠支持關(guān)系型數(shù)據(jù)SQL查詢(xún)，也能夠提供針對(duì)Hadoop、對(duì)象存儲(chǔ)的NoSQL查詢(xún)能力，還可以訪問(wèn)JSON格式的數(shù)據(jù)。

如此，豈不就是一個(gè)大數(shù)據(jù)分析的完整解決方案嗎？

華為MPP+Shared-nothing數(shù)據(jù)庫(kù)

圖靈獎(jiǎng)得主，數(shù)據(jù)庫(kù)領(lǐng)域的布道者M(jìn)ichael Stonebraker曾經(jīng)說(shuō)過(guò)：傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)是30年前，以O(shè)LTP應(yīng)用為主設(shè)計(jì)的。如今，大數(shù)據(jù)屬于OLAP，應(yīng)采用新技術(shù)架構(gòu)。

新技術(shù)思路是要由“一種架構(gòu)支持所有應(yīng)用”轉(zhuǎn)變成“多種架構(gòu)支持多類(lèi)應(yīng)用”，Stonebreaker說(shuō)。

傳統(tǒng)數(shù)據(jù)庫(kù)給人另外一個(gè)印象就是價(jià)格昂貴。數(shù)據(jù)庫(kù)在數(shù)據(jù)一致性、可靠性、安全性等技術(shù)環(huán)節(jié)上所表現(xiàn)出來(lái)的水平，讓數(shù)據(jù)庫(kù)適用于關(guān)鍵業(yè)務(wù)應(yīng)用，以及分析報(bào)表等。

但大數(shù)據(jù)的特點(diǎn)有所不同，其中很重要一點(diǎn)就是其價(jià)值密度比較低，需要的存儲(chǔ)容量會(huì)比較大，有時(shí)會(huì)達(dá)到PB級(jí)。如此一來(lái)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，數(shù)據(jù)進(jìn)不去、查不出、存不下和擴(kuò)容難等問(wèn)題就暴露無(wú)遺。

針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)存在的問(wèn)題，一種新的構(gòu)建于x86開(kāi)放平臺(tái)上的MPP（Massively Parallel Processing）架構(gòu)+shared-nothing架構(gòu)的企業(yè)級(jí)數(shù)據(jù)庫(kù)產(chǎn)品應(yīng)運(yùn)而生。

華為GaussDB 200企業(yè)級(jí)數(shù)據(jù)庫(kù)無(wú)疑是其中的佼佼者。

華為GaussDB 200

華為GaussDB 200開(kāi)始于2012年，研發(fā)團(tuán)隊(duì)分析了業(yè)界數(shù)據(jù)庫(kù)相關(guān)理論和技術(shù)，在基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的SQL引擎和事務(wù)強(qiáng)一致性等基礎(chǔ)上，進(jìn)行了分布式、并行計(jì)算的改造。歷時(shí)6年，打造了一款架構(gòu)領(lǐng)先的分析型數(shù)據(jù)庫(kù)，為各行業(yè)PB級(jí)海量數(shù)據(jù)分析提供有競(jìng)爭(zhēng)力的解決方案。

[[255313]]

GaussDB 200可以很好兼容標(biāo)準(zhǔn)ANSI SQL 99/2003語(yǔ)法和PostgreSQL生態(tài)。

與傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品使用專(zhuān)有硬件不同，GaussDB 200運(yùn)行在通用X86服務(wù)器上，采用MPP+shared-nothing架構(gòu)，因而能夠具備良好的擴(kuò)展性。可以在不中斷業(yè)務(wù)的前提下，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的在線擴(kuò)容。

這個(gè)擴(kuò)容采用表級(jí)擴(kuò)容機(jī)制，即完即用，支持未擴(kuò)容表與已擴(kuò)容表之間關(guān)聯(lián)分析；通過(guò)引入一套增量機(jī)制記錄擴(kuò)容重分布過(guò)程中的數(shù)據(jù)修改（增刪改），待基線數(shù)據(jù)重分布完成后，將增量數(shù)據(jù)Merge到擴(kuò)容后的集群中；提供任務(wù)自動(dòng)等待Retry機(jī)制，確保新舊數(shù)據(jù)切換業(yè)務(wù)不中斷、無(wú)感知。

GaussDB 200 MPP節(jié)點(diǎn)間并行+SMP單機(jī)多核并行+列存向量化指令集并行+LLVM機(jī)器碼編譯等技術(shù)，可以充分發(fā)揮集群硬件資源，能夠達(dá)到萬(wàn)億級(jí)數(shù)據(jù)查詢(xún)秒級(jí)響應(yīng)的能力。其中通用X86服務(wù)器上，可以提供彈性集群、跨代兼容等特性，避免硬件鎖定。

在架構(gòu)設(shè)計(jì)上，硬件中磁盤(pán)、交換機(jī)、網(wǎng)卡等均采用高可用設(shè)計(jì)；軟件上則采用全組件高可靠架構(gòu)，協(xié)調(diào)節(jié)點(diǎn)多活，數(shù)據(jù)節(jié)點(diǎn)***主+備+Handoff三重?cái)?shù)據(jù)保護(hù)，GTM（Global Transaction Management）等進(jìn)程采用主備方案。可以確保集群中任意一個(gè)節(jié)點(diǎn)故障業(yè)務(wù)不中斷。

安全性方面，新產(chǎn)品支持客戶(hù)端連接的SSL認(rèn)證服務(wù)；并通過(guò)了華為網(wǎng)絡(luò)安全實(shí)驗(yàn)室ICSL認(rèn)證，遵從英國(guó)頒布的網(wǎng)絡(luò)安全標(biāo)準(zhǔn)。

GaussDB 200支持通過(guò)SQL訪問(wèn)HDFS上的數(shù)據(jù)，支持C UDF，支持全文檢索，從而為數(shù)據(jù)業(yè)務(wù)創(chuàng)新，提供簡(jiǎn)單應(yīng)用的技術(shù)手段。

小結(jié)

很多時(shí)候，大數(shù)據(jù)應(yīng)用并不是技術(shù)之爭(zhēng)，適用就好。與數(shù)據(jù)庫(kù)相比，Hadoop能夠提供更加細(xì)顆粒度的數(shù)據(jù)分析，有些用戶(hù)也是利用Hadoop來(lái)解決傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)分析性能不足的問(wèn)題。但也有很多時(shí)候，數(shù)據(jù)建模也成為了很多用戶(hù)難以逾越的障礙。任何技術(shù)應(yīng)用是要和應(yīng)用的場(chǎng)景進(jìn)行對(duì)應(yīng)，用戶(hù)要根據(jù)自身的情況選擇最合適技術(shù)路線。