成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

有容乃大 UCloud數據倉庫UDW架構解析

企業動態 數據倉庫
UCloud 近日推出了大規模并行、完全托管的PB級數據倉庫服務——UDW,可以極大地減少部署數據倉庫相關的成本和工作量,更高效地使用商業智能 (BI)工具來分析海量數據。

 

數據分析對于很多企業是不可或缺的。幾乎所有大型企業都已構建了數據倉庫, 以便對各種來源的數據進行報告和分析,為決策提供依據,從而指導業務流程改進。構建并運行數據倉庫是一件復雜而費力的事情。大部分數據倉庫都很復雜,前期投入的軟件、硬件、人力都會很多。另外,傳統數據倉庫在數據爆炸性增長的今天、擴展比較困難、性能下降明顯。

為了解決這些問題,UCloud 近日推出了大規模并行、完全托管的PB級數據倉庫服務——UDW,可以極大地減少部署數據倉庫相關的成本和工作量,更高效地使用商業智能 (BI)工具來分析海量數據。

MPP體系結構+高可用架構 實現高性能

UDW提供可視化的控制臺,能方便快捷的管理和監控數據倉庫,降低使用門檻;此外,支持數據壓縮、深度優化的軟硬件方案,按實際數據處理需求開通節點實例,無需為搭建數據倉庫一次性投入高額成本;同時,支持行存儲及列存儲的數據存儲方式,滿足不同場景下的數據存儲需求。

UDW是基于PostgreSQL開發的大規模并行、完全托管的PB級數據倉庫服務,幾乎支持了PostgreSQL的所有特性。用戶只需掌握標準SQL語法,就可以熟練地使用UDW。

架構上采用了可擴展的MPP分布式體系,能為用戶提供高性能、低成本、高可用的分布式數據倉庫。

MPP體系結構

 

圖1.1 UDW架構圖

UDW采用無共享的MPP架構,適用于海量數據的存儲和計算。UDW的架構如上圖1.1所示,主要有Client、Master Node和Compute Node組成?;窘M成部分的功能如下:

Client:訪問UDW的客戶端、支持通過JDBC、ODBC、PHP、Python、命令行SQL訪問UDW。

Master Node:訪問UDW數據倉庫的入口,它接收客戶端的連接請求、負責權限認證、處理SQL命令、調度分發執行計劃、匯總Fragment的執行結果并將結果返回給客戶端。

Compute Node:Compute Node管理節點的計算和存儲資源,每個Compute Node有多個Fragment組成,Fragment負責業務數據的存儲、用戶SQL的執行。

UDW的高可用架構

 

圖1.2 UDW的高可用架構

如上圖所示,Compute Node中的Fragment通過mirror備份到其他的Compute Node上。當primary Fragment出現不可用的時候會自動切換到mirror Fragment、當primary Fragment恢復之后、primary Fragment會自動恢復這期間的變更。

除了Compute Node節點為Fragment配置鏡像之外、UDW也會為Active Node配置鏡像,確保系統的變更信息不會丟失,提升系統的健壯性。當Active Master不可用時會自動切換到Standby master。

分布式數據存儲和并發執行任務

在UDW數據倉庫中所有的表都是分布式的,每張表都會被切片。切片規則可以選擇按照指定的Key進行Hash分片或者選擇隨機分片。如下圖所示test1、test2、test3、test4四張表的數據都會切片分布到所有的Fragment上面。

 

圖1.3 UDW數據分布圖

在進行數據分析的時候、所有的Fragment同時工作、每個Fragment只需計算一部分數據、所以計算效率會大大提升。如下圖所示、Master Node會把查詢任務下發到每個Fragment,Fragment接收到任務后,把任務劃分若干步執行。

Step 1:scan表格數據,如果數據不需要重新分布直接本地做計算、數據處理之后由master做匯總,進入Step3。如果數據需要重新分布,則通過網絡傳輸到對應的Fragment,然后進入Step2。

Step2:數據處理

Step3:master節點匯總數據

 

圖1.4 UDW的并發執行

結語

UDW非常適合商業智能(BI)領域的大數據聯機分析處理(OLAP)。充分滿足用戶對海量歷史數據的存取需求,為系統日志、銷售數據、監控數據等歷史數據提供低成本的存儲方案。

可對傳統互聯網、移動互聯網、金融、電信、物聯網等領域提供PB級別海量數據存儲、查詢、統計、分析,方便企業BI業務。

當你的數據規模達到500G,單個MySQL數據庫已經難以支持。隨著業務增長,數據規??赡軙_到TB級別甚至可能達到PB級別,如果希望后續能夠平滑的擴容,UDW為你提供了一個低成本、高效率的解決方案。

UDW現在已經進入全面公測,只要你了解一點SQL語法就能快速熟練的使用UDW。另外我們也提供了詳細的說明文檔。詳見:https://docs.UCloud.cn/upd-docs/udw/index.html

責任編輯:xiejuan 來源: 51CTO
相關推薦

2013-11-21 09:08:12

OpenStack

2011-01-18 09:22:05

VMware ESX

2012-06-04 10:56:12

2009-01-14 17:55:20

2011-01-12 17:04:30

數據庫淘寶網Oracle RAC

2021-01-04 05:51:02

數據倉庫架構

2022-12-13 09:54:52

數據倉庫

2021-09-01 10:03:44

數據倉庫云數據倉庫數據庫

2021-03-31 10:16:00

架構運維技術

2011-07-04 13:18:45

服務器R680 G7數據倉庫

2015-07-31 17:40:45

斐訊

2023-09-05 16:30:53

數據倉庫數據分析

2020-01-03 09:40:13

大數據數據倉庫分層

2022-11-29 17:16:57

2018-07-24 09:28:18

存儲數據倉庫

2013-03-20 16:23:53

數據清洗

2024-09-23 20:11:47

2012-07-23 14:38:16

Exalytics

2023-07-02 14:11:28

數據倉庫大數據

2017-08-17 15:52:38

企業數據倉庫
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 精品欧美一区二区在线观看欧美熟 | 国产精品久久久久久久久久了 | 毛片.com| 精品久久久久久久久久久久 | 午夜网站视频 | 亚洲国产一区视频 | 亚洲欧美日韩精品久久亚洲区 | 国产区一区二区三区 | 欧美日韩电影免费观看 | 成人伊人网 | 亚洲一在线 | 精品国产一区二区三区免费 | 欧美激情va永久在线播放 | 成人免费淫片aa视频免费 | 视频一区二区三区中文字幕 | 国产色视频网站 | 天天操操 | 国产午夜精品一区二区三区四区 | 亚洲精品99 | 亚洲福利一区二区 | 中文字幕在线免费视频 | 精一区二区 | 亚洲资源站 | 毛片一区二区三区 | 亚洲视频一区在线 | 亚欧性视频 | 久草中文在线 | 精品在线视频播放 | 日本成人中文字幕 | 国产精品99久久久精品免费观看 | 久久99精品国产 | 国产精品成人一区二区三区 | 日日日视频 | 精品中文在线 | 日韩亚洲欧美一区 | 国产亚洲精品久久情网 | 懂色一区二区三区免费观看 | 日本中文在线视频 | 国产视频亚洲视频 | 久久爱一区 | 午夜码电影|