隨著銀行業(yè)務(wù)的拓展以及網(wǎng)點業(yè)務(wù)的需求量加大，在新一輪技術(shù)浪潮驅(qū)動下，各大商業(yè)銀行也在紛紛推進智能網(wǎng)點的建設(shè)。其中，商業(yè)銀行的柜面無紙化就是***推進的業(yè)務(wù)之一。

包括廣發(fā)銀行、民生銀行在內(nèi)的大型商業(yè)銀行，已經(jīng)于近幾年陸續(xù)上線柜面無紙化業(yè)務(wù)，并開始在全國網(wǎng)點進行推廣使用。今后，隨著柜面無紙化、“一站式”綜合店員、人工智能等系統(tǒng)的陸續(xù)應(yīng)用，各大商業(yè)銀行也將全面實現(xiàn)網(wǎng)點智能化轉(zhuǎn)型建設(shè)。

大型商業(yè)銀行，平均有超過300~400個業(yè)務(wù)系統(tǒng)，每一個業(yè)務(wù)系統(tǒng)既有完整技術(shù)棧，又和不同的業(yè)務(wù)之間存在許多的相互依賴和相關(guān)的關(guān)系，業(yè)務(wù)和技術(shù)復(fù)雜度遠超其他行業(yè)。此外，銀行對于平臺可靠性要求最為嚴苛，核心數(shù)據(jù)需保證0丟失、0錯誤率，核心業(yè)務(wù)系統(tǒng)也有“5個9”以上的穩(wěn)定性要求。這些要求給后臺數(shù)據(jù)庫帶來了極大的要求，因此業(yè)界也戲稱銀行是企業(yè)級數(shù)據(jù)庫的“試金石”。

“無紙化”業(yè)務(wù)作為商業(yè)銀行的新一代應(yīng)用業(yè)務(wù)，對于數(shù)據(jù)管理帶來了新的挑戰(zhàn)。針對銀行在新一代柜面無紙化業(yè)務(wù)上的痛點需求，巨杉數(shù)據(jù)庫在保證穩(wěn)定安全的基礎(chǔ)上，利用其所支持的非結(jié)構(gòu)化存儲、結(jié)構(gòu)化事務(wù)、可彈性擴張、高可用、以及多數(shù)據(jù)中心災(zāi)備等能力，全面支持廣發(fā)、民生銀行的柜面無紙化業(yè)務(wù)，為業(yè)務(wù)帶來巨大提升。

巨杉數(shù)據(jù)庫分布式雙活部署整體示意圖

非結(jié)構(gòu)化數(shù)據(jù)存儲

作為一款分布式的交易型數(shù)據(jù)庫，SequoiaDB數(shù)據(jù)庫提供了同時存儲結(jié)構(gòu)和和非結(jié)構(gòu)化引擎的機制，非結(jié)構(gòu)化數(shù)據(jù)的存儲在引擎中主要是以 LOB形式來實現(xiàn)的。SequoiaDB 3.0在對象存儲API的基礎(chǔ)之上提供了標(biāo)準(zhǔn)Posix文件系統(tǒng)接口，能夠原生接入任何支持Posix協(xié)議標(biāo)準(zhǔn)的操作系統(tǒng)，用戶對應(yīng)用程序無需任何改造即可從NAS遷移至SequoiaDB。

在巨杉數(shù)據(jù)庫中，LOB大對象存儲引擎可將各種尺寸的非結(jié)構(gòu)化文件切分成小存儲塊，按散列映射存放于集群的多個數(shù)據(jù)組，實現(xiàn)文件的高效并發(fā)存取，對外提供對象標(biāo)識進行文件訪問。

在巨杉數(shù)據(jù)庫中，LOB存儲結(jié)構(gòu)分為元數(shù)據(jù)文件（lobm）與數(shù)據(jù)文件（lobd）。其中，元數(shù)據(jù)文件存儲整個LOB數(shù)據(jù)文件的元數(shù)據(jù)模型，包括每個頁的空閑狀況、散列桶、以及數(shù)據(jù)映射表等一系列數(shù)據(jù)結(jié)構(gòu)。而數(shù)據(jù)文件則存儲用戶真實數(shù)據(jù)，數(shù)據(jù)頭之后所有數(shù)據(jù)頁按照page size進行切分，每個數(shù)據(jù)頁不包含任何元數(shù)據(jù)信息。

與結(jié)構(gòu)化數(shù)據(jù)的記錄引擎完全不同，巨杉數(shù)據(jù)庫的非結(jié)構(gòu)化存儲提供了原生的對象文件塊存儲機制，同時適用于影像類大文件與票據(jù)類小文件。在巨杉數(shù)據(jù)庫對小文件存儲與檢索的過程當(dāng)中，每個數(shù)據(jù)塊均使用散列算法判斷其所處的物理位置，因此不會進行任何物理查表操作，數(shù)據(jù)庫也不需要維護每個對象文件的物理位置表，因此不論從安全性、吞吐量、以及響應(yīng)速度都遠遠高于其他同類對象存儲。

多活與災(zāi)備

巨杉數(shù)據(jù)庫的原生分布式架構(gòu)，一方面提供了引擎級別的內(nèi)部數(shù)據(jù)多副本和高可用以及基于Raft算法的數(shù)據(jù)一致性的保證。同時，在跨數(shù)據(jù)中心層面，可以做到分布式集群為單位的容災(zāi)和多活機制，在滿足數(shù)據(jù)安全要求下減少了數(shù)據(jù)安全方面的部署和運維難度。

從多活架構(gòu)的角度看，巨杉數(shù)據(jù)庫都秉承著計算存儲分離的設(shè)計思路，因此其SQL解析與執(zhí)行器往往與數(shù)據(jù)存儲和事務(wù)控制分別運行在不同的進程中。在這種情況下，利用數(shù)據(jù)庫自身分布式與三副本復(fù)制的特性，將數(shù)據(jù)打散放置在多個數(shù)據(jù)中心內(nèi)，每個數(shù)據(jù)中心配置本地SQL服務(wù)節(jié)點，從應(yīng)用程序的角度看不需要關(guān)注底層數(shù)據(jù)庫的主從架構(gòu)，僅需要通過JDBC連接到本地的SQL服務(wù)節(jié)點進行讀寫操作即可。在這種架構(gòu)下，每個SQL節(jié)點完全對等，并均可以處理讀寫操作。所有的事務(wù)控制、一致性控制、鎖等待等機制都由底層的分布式數(shù)據(jù)庫直接提供。

以兩地三中心為例，在該架構(gòu)中，城市A機房1作為主機房，提供與同城的機房2之間的同步數(shù)據(jù)復(fù)制。而對于城市B的機房來說，在帶寬足夠的情況下可以選擇使用同步機制與城市A的機房進行數(shù)據(jù)復(fù)制。而在帶寬不足時則可以選擇異步的復(fù)制方式。

同時，巨杉也支持異地災(zāi)備機房的定期追加更新。用戶可以通過定義異地災(zāi)備機房的同步策略，使災(zāi)備機房定期進行日志文件的同步，以做到災(zāi)備機房與主機房的數(shù)據(jù)擁有一定的時間差異，避免手工誤操作。

高性能實時性能響應(yīng)

通過分布式架構(gòu)，多維數(shù)據(jù)分區(qū)，高性能索引，以及數(shù)據(jù)壓縮等機制，影像平臺無論非結(jié)構(gòu)化數(shù)據(jù)還是結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)量下依舊保持性能的平滑擴展，實時響應(yīng)。在性能測試對比中，對比巨杉數(shù)據(jù)庫，傳統(tǒng)NAS方案想要達到同樣吞吐量至少需要3倍以上的磁盤數(shù)量。

以下是巨杉數(shù)據(jù)庫在實際測試環(huán)境中，對于非結(jié)構(gòu)化數(shù)據(jù)管理這塊的測試數(shù)據(jù)：

• 2GB/s的整體吞吐量，分布式架構(gòu)
• 6節(jié)點x86服務(wù)器、整個集群共36塊SAS盤
• 傳統(tǒng)方案，高端配置：1.5GB/s 120塊盤以上
• 100%寫入場景

• 100%讀取場景

• 混合業(yè)務(wù)場景

巨杉數(shù)據(jù)庫為底層數(shù)據(jù)引擎的分布式非結(jié)構(gòu)化數(shù)據(jù)管理平臺，已經(jīng)在包括民生銀行、廣發(fā)銀行在內(nèi)的超過50家大型銀行業(yè)務(wù)應(yīng)用。在某大型股份制商業(yè)銀行業(yè)務(wù)系統(tǒng)中，巨杉數(shù)據(jù)庫總集群部署節(jié)點數(shù)達到122臺物理服務(wù)器，部署邏輯節(jié)點1530個，平臺服務(wù)銀行網(wǎng)點數(shù)超過840個 ，性能響應(yīng)在毫秒級別，數(shù)據(jù)實現(xiàn)了同城數(shù)據(jù)中心災(zāi)備和雙活。