成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

實現高效BI分析的必備技術OLAP,一篇講明白

大數據 新聞
每個做大數據的同學,都應該聽過OLAP或者實踐過。

什么是OLAP多維分析,它究竟有啥作用,如今都有哪些流行的技術解決方案來實現?今天我們詳細聊一聊。

文中部分內容參考了朱凱老師的《ClickHouse原理解析與實踐》,感興趣的朋友可以買來讀一讀。

1、BI系統的演進

在聊OLAP之前,我們先把時間拉長,聊聊BI系統。

(1)傳統BI系統

上個世紀,IT技術迅猛發展,主要特征就是線下工作的線上化。各種各樣的IT系統(比如ERP、CRM等)在各個行業落地實施。相應的,我們把這類系統稱之為聯機事務處理(OLTP)系統。

圖片

但是在企業的運行過程中,不只是有流程審批這些工作,還有很多報表統計、分析決策相關的訴求。但是早期的IT系統的數據各自獨立,互相割裂,給分析帶來了極大的困難。

為了解決這一問題,人們提出了數據倉庫的概念,把數據集中在一起,打通隔閡,并通過分層的方式處理數據。

逐步的,在數倉基礎上提供數據分析的系統慢慢發展起來。直到90年代,BI系統的概念提出來,專門指代這類分析系統。相對于OLTP系統,這類BI系統被稱為聯機分析(OLAP)系統。

圖片

傳統BI系統解決了很多問題,但是存在的瓶頸也是很多的。比如數據的分析效率底下、研發迭代緩慢等,都對應用效果產生了負面影響。

(2)現代BI系統

最近幾年,SaaS模式的興起,為BI系統帶來了新的發展機遇。例如我們熟知的GA、神策分析、友盟分析等,采取的服務模式都是SaaS化。很多中小型公司的BI系統不再依賴于數倉的搭建。

而現代BI系統背后的OLAP技術也在不斷發展。

2、什么是OLAP

下面我們詳細聊聊OLAP。

OLAP即聯機分析,又可以稱為多維分析,是關系型數據庫之父Edgar Frank于1993年提出的概念。它指的是通過多種不同的維度審視數據,進行深層次分析。主要的操作包括下鉆、上卷、切片、切塊等。

參考Excel的數據透視表的功能,大家就好理解這些操作了。數據透視表實現了對原始數據的各種聚合、分解、切片等操作,OLAP也是如此。可以把OLAP理解成對公司數據庫建立一個大的透視表,通過這個透視表進行各種維度的分析,這就是OLAP。

圖片

說白了,OLAP是用于我們進行分析的引擎。在很多公司的數據架構中,OLAP作為頂層分析應用層與數據存儲層的中間處理層。其核心解決的是和數據分析相關的需求。

圖片

常見的OLAP架構可以分為三類。

圖片

(1)ROLAP

第一種架構稱為ROLAP(Relational OLAP),即關系型OLAP。顧名思義,是直接使用關系模型進行構建的。因此,多維分析的操作是可以直接轉換成SQL進行查詢的。

圖片

這種架構對數據的實時處理能力要求很高。像ClickHouse、Impala、Presto都是典型的RLOAP代表。

(2)MOLAP

第二種架構稱為MOLAP(Multidimensional OLAP),即多維型OLAP。

圖片

MOLAP的出現是為了緩解ROLAP的性能問題。其核心思路是對數據預先聚合處理,以存儲空間換查詢時間的減少。典型的MOLAP包括Kylin、Druid等。

容易想到,如果維度較多,需要存儲的數據量級會有指數級地上漲。一張千萬級別的數據表,可能膨脹到需要存儲億級別的體量。

另外,由于需要進行預計算,MOLAP的數據會有一定的滯后性,不能實時進行數據分析。并且由于只保留了聚合后的結果數據,無法查詢明細數據。

(3)HOLAP

第三類架構稱為HOLAP(Hybrid OLAP),即混合架構OLAP。

這種架構可以理解成ROLAP和MOLAP的集成。

3、OLAP實現技術的演進

前面我們也陸續介紹了OLAP相關的一些技術。下面我們簡單聊聊OLAP技術的演進過程。

(1)傳統關系型數據庫階段

第一個階段稱為傳統的關系型數據庫階段。在這個階段中,OLAP主要是以Oracle、MySQL等關系型數據庫實現。

圖片

在ROLAP架構下,直接使用這些數據庫作為存儲和計算的載體;在MOLAP架構下,則借助物化視圖的形式實現數據立方體。

該階段中,無論是ROLAP還是MOLAP,當數據體量大、維度數目多的時候,都存在嚴重的性能問題,甚至存在根本查不出結果的情況。

(2)大數據技術階段

第二個極端可以稱為大數據階段。在這個階段,主要依賴Hive等大數據技術進行實現。

圖片

以ROLAP為例,傳統的關系型數據庫被Hive和SparkSQL這類新型技術所取代。相比傳統的數據庫而言,面向海量數據的處理性能明顯提升了很多。但是在提供實時的在線查詢服務時,仍然需要幾十秒甚至數分鐘才能返回。

(3)最新階段

最近幾年,一款新的OLAP解決方案ClickHouse走進了大家的視野。其優越的查詢計算性能讓人驚嘆。頭條、阿里、騰訊等大廠也紛紛進行使用。

圖片

ClickHouse是由來自俄羅斯的Yandex公司研發的(Yandex類似于中國的百度,是俄羅斯的本土搜索引擎,占據俄國47%的搜索市場),是一款開源軟件。

其他一些常見的OLAP技術方案對比如下,供參考。

圖片

不同的技術,也都存在各自的優點和缺點。在目前階段,沒有哪種OLAP技術是萬能的靈丹妙藥,可以解決所有問題。大家在技術選型時,需要結合自己的業務數據特點,進行選擇。不知道未來是否有一天,能出現完美的OLAP解決方案,一統江湖。期待吧。

責任編輯:張燕妮 來源: 首席數據科學家
相關推薦

2022-07-15 18:55:04

技術數據分析數據驅動

2023-01-03 18:32:32

2024-08-07 09:02:51

2024-03-27 18:22:58

Hadoop部件生態

2023-04-06 08:37:24

2023-06-01 21:50:53

Doris數倉SQL

2021-05-08 07:14:38

MySQL數據庫安全性

2023-12-11 18:23:21

2022-07-27 07:45:53

二叉樹鏡像函數

2023-02-10 09:43:51

架構開發

2025-05-13 01:10:00

數據產品開發

2022-05-25 11:39:12

數字化企業

2022-02-17 08:35:59

OLTPOLAP數據倉庫

2024-06-05 08:51:08

2021-10-31 14:14:33

內存接口協議

2020-08-17 08:17:00

大數據人工智能技術

2021-09-14 18:27:08

Spark

2024-06-03 14:09:48

2021-09-13 07:46:06

Kubectl Kubernetes 工具

2021-10-07 20:24:16

AIBI大數據
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 成人精品一区二区三区四区 | 日本不卡一区二区三区 | 国产粉嫩尤物极品99综合精品 | 国产福利91精品 | 免费一区二区三区 | av黄色在线 | 亚洲午夜电影 | 伊人一区| 日本精品一区二区三区视频 | 毛片网在线观看 | 亚洲va国产日韩欧美精品色婷婷 | 亚洲成人一区二区 | 中文在线a在线 | 亚洲欧美一区二区三区国产精品 | 精品国产成人 | 视频一二三区 | 在线成人免费视频 | 欧美精品一区二区免费 | 亚洲日本欧美日韩高观看 | 久久天堂网 | 天天综合久久 | 亚洲视频一区二区三区 | 98成人网| 亚洲男女视频在线观看 | 免费人成激情视频在线观看冫 | 丝袜美腿一区二区三区动态图 | 欧美中文字幕一区 | 狠狠亚洲| 国产福利在线播放麻豆 | 在线一区| 男人的天堂在线视频 | 久久久国产精品 | 午夜影院黄 | 久久久精品在线 | 欧美亚洲国产日韩 | 成人免费视频播放 | www.9191.com | 日韩精品在线观看一区二区三区 | www免费视频 | 日韩在线视频播放 | 一区二区在线 |