成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

數據倉庫中如何使用索引

運維 數據庫運維 數據倉庫
數據倉庫的索引是個棘手的問題。在創建數據倉庫索引的時候需要考慮一些參數比如數據倉庫類型、維度表和事實表大小、是否分區、是否AD hoc等等。這些參數決定了你的索引結構。這里我們只是介紹一點小經驗。

 [[169896]]

數據倉庫中如何使用索引

數據倉庫的索引是個棘手的問題。如果索引太多,數據插入很快但是查詢響應就會很慢。如果太多索引,數據導入就很慢并且數據存儲空間更大,但是查詢響應更快。數據庫中索引的作用就是加快查詢速度,不論是傳統數據庫還是數據倉庫。尤其是對于大數據量的表以及設計表連接的復雜查詢。之前接觸數據倉庫比較少,這里只是介紹一點小經驗。

當然,在創建數據倉庫索引的時候需要考慮一些參數比如數據倉庫類型、維度表和事實表大小、是否分區、是否AD hoc等等。這些參數決定了你的索引結構。本篇主要介紹如何對數據倉庫中的關系表建立索引,注意是在關系數據庫中的關系表,而不是SSAS中的數據表。

維度索引

如果打算在維度表的主鍵上建立索引,而該鍵是一個代理鍵,不是一個自然或者業務鍵(例如用戶名稱或者ID)。注意不要在維度表的代理鍵或者變現漸變的列上建立聚集索引。

維度表包含一個自然或者業務鍵(例如交易編碼或者ID),我們稱之為業務鍵是來自于業務系統的。盡管業務鍵可能不是***的,但是對于緩慢漸變的維度表而言,在標識列上建立索引是比較好的(如用戶ID等),如下圖:

用戶和產品的維度表中聚集索引建立在業務鍵上,通過這樣的索引,能強化查詢速度尤其是where語句中使用了這些鍵的。通常where 表達式中經常會使用這個鍵值來查詢維度數據。

通過業務鍵建立聚集索引可以避免鎖升級(例如,行鎖到表鎖,意圖排它到排它),因為在ETL過程中如果代理鍵上有非聚集索引并且所有的行都被添加到文件末尾就有可能發生鎖升級,如果排它鎖從行鎖升級到表鎖,那么就會引起其他讀取或者ETL或者通用操作的阻塞甚至死鎖,最終程序timeout。

在上圖中,Date維度和Time維度有沒外部的數據源或者業務鍵??紤]使用YYYYMMDD 和HHMMSSSSS 格式作為兩個表的主鍵,并建立聚集索引。這個值保證了索引順序,在事實表中也簡化了范圍查詢,并且這個鍵值也包含了日期或者時間,不再需要具體時間。

對于大型的緩慢漸變維度表(例如這里需要鍵入新的數據),或許可以創建一個由四部分組成的非聚集索引包括業務鍵、記錄開始時間、記錄結束時間和代理鍵。為了效率并且阻止存儲增大,使用Include來包含記錄結束時間和代理鍵,如下所示:

  1. 3CREATE NONCLUSTERED INDEX MyDim_CoveringIndex ON (NaturalKEY, RecordStartDate) 
  2.  
  3. INCLUDE ( RecordEndDate, SurrogateKEY); 

這個索引在ETL的過程中對于歷史數據的查詢和操作是很有效的,通過非聚集索引減少列從而減少了沒必要的存儲空間。關系數據庫引擎能直接從索引獲取數據而不需要直接訪問維度數據,減少了IO提高了查詢速度。

如果在維度表中有其他用于查詢、排序、分組的列,也可以創建非聚集索引,就如同你在事務性數據庫中一樣。如果在維度表中有一個嵌入層級,例如類-子類-產品ID的層級關系在產品維度表中,考慮在層次結構的鍵值上建立索引,會顯著提高數據查詢并且不會影響數據導入。

在事實表上建立索引

與在維度表建索引相似,當然需要考慮分區等條件??梢栽谌掌诹谢蛘呋旌先掌?時間的列上建立聚集索引。因為BI分析總是會使用日期/時間組件,事實表包含date或者datetime列,并且這里使用聚集索引會幫助構建cube。也因為這個原因,數據記錄也是按照date或者datetime的順序存儲。對于歷史的查詢是有其優勢的。如果事實表有多個這樣的列,那就需要在查詢或者構建cube最為頻繁的列上建立索引。

如果在date列上分區,可以使用聚集索引在該列上。當發現用來創建分區和聚集索引在同一列上并且在保存分區事實表的文件組上創建了索引,那么SQLServer 將自動用事實表分區來分區索引(例如,索引會有和事實表相同的的分區函數和列)。當索引按照事實表分區后,這個表和他的索引自動對齊,尤其當你創建分區或者頻繁切換分區開關時,這樣就方便的多了。

下一步,創建非聚集索引在每個事實表的外鍵上,并且考慮混合外鍵和日期鍵,如圖1所示可以見建立類似用CustomerKEY + DateKEY 的索引。使用相同的外鍵值查詢將帶有時間排序,這回提高查詢速度。注意,處理外鍵時要考慮保持關系完整性。

改善索引架構

隨著時間變化,數據倉庫會發生改變來適應組織結構的變化,并且必須要改變索引結構。大多數數據倉庫或者BI系統是直接連接關系表的,因此可以使用經過關系表調優的方法進行索引修改,例如評估查詢和數據混合來相應地調整索引。如果關系數據倉庫只用來表現SSAS結構,那么可能不需要我們之前討論的索引。SSAS更傾向于反復使用相同的查詢,因此可以使用索引優化向導或者對查詢進行精確調優。開始單純嚴謹徹底地評估以便在數據倉庫中建立索引。

總結

本篇只是簡單介紹了一般數據倉庫的關系數據表如何建立索引,但是很多時候要根據實際請款來建立索引,甚至有時候不能使用索引。兼顧消耗和時間效率等多個方面,還是要不斷通過生產環境的要求來變化的。

責任編輯:武曉燕 來源: 博客園
相關推薦

2013-10-29 13:28:13

數據

2013-03-20 16:23:53

數據清洗

2020-02-17 11:37:54

大數據數據倉庫技術

2023-08-14 16:56:53

2009-01-20 14:22:49

ODS數據倉庫教程

2021-09-01 10:03:44

數據倉庫云數據倉庫數據庫

2012-03-05 10:06:40

云計算數據倉庫數據遷移

2016-11-08 09:16:54

數據倉庫優化

2022-06-24 09:38:43

數據庫大數據

2020-04-06 13:52:45

數據倉庫大數據平臺Hadoop

2009-01-19 15:52:20

OracleOSFA數據倉庫

2024-09-26 17:32:24

2023-10-08 16:26:23

數據倉庫

2018-07-24 09:28:18

存儲數據倉庫

2022-11-29 17:16:57

2020-01-03 09:40:13

大數據數據倉庫分層

2009-01-18 15:14:00

數據倉庫開發OLTP

2019-05-24 11:51:18

BI數據倉庫數據分析

2012-07-23 14:38:16

Exalytics

2023-07-02 14:11:28

數據倉庫大數據
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: a网站在线观看 | 蜜桃一区二区三区 | 亚洲激情在线视频 | 久久天堂| 国产精品久久久久久久久久久免费看 | 黄色国产在线播放 | 91精品国产91久久久久久吃药 | 久久亚 | 亚洲人久久 | 羞羞视频在线观看 | 国产精品美女久久久久久久网站 | 欧美精品欧美精品系列 | 91精品国产综合久久福利软件 | 亚洲理论在线观看电影 | 亚洲视频免费在线看 | 亚洲精品视频在线看 | 夜久久| 欧美成人精品一区二区男人看 | 亚洲一区二区三 | 亚洲精品一区二区三区在线 | 国产免费看 | 欧美日韩在线观看一区二区三区 | 欧美freesex黑人又粗又大 | 99精品欧美一区二区三区综合在线 | 日本一本在线 | 四虎永久免费影院 | 色综合久久久久 | 久久国产视频网 | 国产一区二区三区在线免费 | 国产午夜精品视频 | 成人免费视频在线观看 | 国产成人精品一区二 | 国产成人综合在线 | 在线一区 | 在线区| 日韩精品在线看 | 久久久一二三区 | 日韩成人av在线 | 九一视频在线观看 | 欧美日韩国产在线观看 | 日本午夜一区二区三区 |