成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

淺析存儲系統SILT的基本結構

存儲 存儲軟件
了達到很高的系統性能,寫數據的結果直接添加到flash上log文件的末尾。因為這些記錄是按照相應的時間進行排序的,LogStore通過內存中的hash表以鍵和相應在log文件中的偏移對其進行映射。

 SILT存儲系統通過使用多個基本的鍵值存儲結構,每個針對不同的操作進行相應的優化:(1)鍵值的更新操作通過寫優化的存儲結構上進行。(2)大多數鍵值對存儲在存儲高效的結構中。雖然在存儲結構之外的數據很少使用高效的存儲索引,但是每個鍵的平均索引的代價是很低的。(3)SILT可以調整以應對極端情況,即查詢在***、最近的存儲結構中。SILT通過使用內存的過濾器,允許所有的查詢在1+(nbcl)flash讀取時間內完成。

[[217614]]

SILT的結構和基本存儲結構(LogStore, HashStore, SortedStore)如圖 1所示。

圖1 SILT存儲結構

LogStore對于寫操作有很高的效率,其主要用來進行PUT和DELETE操作。為了達到很高的系統性能,寫數據的結果直接添加到flash上log文件的末尾。因為這些記錄是按照相應的時間進行排序的,LogStore通過內存中的hash表以鍵和相應在log文件中的偏移對其進行映射。SILT使用cuckoo hash從而在最小內存消耗的情況下,達到很高的性能。本文中提出的部分鍵的cuckoo hash在較低的計算代價和內存消耗的情況下,占用93%的空間。相比其他兩個只讀的存儲結構,其數據存儲緊湊,LogStore必須要存儲4字節的指針。SILT因此只使用一個LogStore。

當LogStore中存儲飽和之后,LogStore將轉換成固定不變的HashStore。HashStore數據以hash表的形式存儲在flash上,其不需要內存的索引對記錄或數據進行檢索。SILT在將其合并到SortedStore之前可以使用多個HashStore。每個HashStore使用一個高效的內存過濾器過濾掉不存在的鍵。

SortedStore在flash上按一個指定的順序維護鍵值對數據,其使用一個非常簡潔的形式對索引進行變化。因為對于排序的數據進行單個更新時,其代價是非常高的,因此SILT周期性的將HashStore表的內容合并的到SortedStore中。

LogStore順序講PUT和DELETE操作寫入flash中,從而達到高的寫吞吐量。其內存的部分鍵cuckoo hash索引可以高效的實現鍵到相應log文件中位置的映射(如圖 2所示)。

LogStore使用一個基于cuckoo hash的hash表。其使用兩個函數和實現鍵值到相應的位置的映射。在新的鍵加入hash表中是,如果兩個位置中有一個是空的,則將其加入這個空的位置;否則新的鍵替換兩個位置的一個,被替換的鍵按上述過程進行迭代,直到找到其可選的位置中。

圖2 LogStore設計方案

為了使其盡可能的簡潔,hash表并不存儲整個鍵,而只是存儲鍵的一個tag。只有當查詢于相應的tag符合才繼續進行后續操作,這樣可以實現對不存在的鍵進行過濾。

雖然存儲tag可以在一定程度上節約內存的空間,但是同樣出現問題:將鍵移動到其可選的另一個位置需要事先知道其另一個hash值。但是,相應的鍵值存儲在flash中,因此在這種情況下需要進行flash讀取操作。為了解決這個問題,在相應的hash表中將其可選位置的索引作為tag。例如,如果鍵被放在位置,其另一個hash值將作為其tag存儲在位置中,反之亦然。

當LogStore中內容達到飽和時,SILT將其轉化成對于內存利用率更高的數據結構。直接對LogStore進行排序,并將其合并到SortedStore需要重寫大量的數據。另外,保留大量的LogStore會造成很高的內存消耗。因此,為了解決這個問題,SILT首先將LogStore轉化為一個不可變的HashStore。當HashStore的數量達到指定數值時,其被合并到SortedStore中(如圖 3所示)。

HashStore通過修改索引的結構,對于flash上的(key, value)進行按hash順序進行排序,可以節省大量的內存。

HashStore的過濾器非常簡單,只是將LogStore中hash表中的tag復制,并去掉相應的指針。

圖3 LogStore轉換為HashStore

SortedStore是一個靜態的鍵值存儲結構。其存儲按照flash上key的順序進行排序的鍵值(key, value),使用基于熵編碼的trie樹進行索引,平均每個鍵消耗0.4字節進行存儲。

此外,SILT使用Flash上的排序數據(Using Sorted Data on Flash),將大多數的鍵值保存在單個的SortedStore,但是其基于熵編碼的trie樹不允許進行插入和刪除。因此,為了將HashStore合并到SortedStore中,SILT必須重新生成SortedStore。因此,SortedStore的構建速度成為SILT整體性能的一個重要的因素。

通過排序可以很快完成的構建工作:(1)排序允許新數據的加入:新的數據通過排序,按順序合并到已排序的數據中。(2)排序的相關技術非常成熟:SILT可以使用高度優化的排序系統,如Nsort等

責任編輯:武曉燕 來源: HIT智能數據俱樂部
相關推薦

2010-04-22 12:18:21

Aix操作系統

2015-09-29 18:17:58

戴爾云計算

2009-07-09 13:45:06

Servlet基本結構

2018-09-29 14:08:04

存儲系統分布式

2020-03-04 17:37:09

存儲系統硬件層

2018-01-31 08:44:20

數據存儲存儲設備存儲系統

2018-01-19 08:35:47

存儲系統SAS

2017-07-04 10:58:57

SAN存儲網絡存儲系統架構

2017-11-08 11:22:46

存儲趨勢系統

2017-07-10 09:02:24

NAS存儲云存儲

2018-05-31 08:39:18

單機存儲系統

2013-10-12 16:38:38

存儲虛擬化

2012-09-04 13:58:50

存儲海量存儲華為

2021-06-18 06:00:31

存儲系統

2018-01-22 09:08:14

存儲系統性能帶寬

2017-04-14 09:48:25

分布式存儲系統

2011-09-23 09:29:29

Hotmail

2018-07-31 11:02:21

存儲系統算法

2024-07-05 11:05:47

2025-01-17 08:17:55

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 成年人网站在线观看视频 | 精品免费国产一区二区三区四区介绍 | 国产精品欧美一区二区 | 成人免费高清 | 中文字幕精品一区二区三区精品 | 三级视频网站 | 国产一区中文字幕 | 久久综合888| 亚洲免费在线 | 欧美中文字幕一区二区三区亚洲 | 一级片在线观看 | 男女啪啪高潮无遮挡免费动态 | 午夜影院黄 | 91av免费观看 | 欧美三区视频 | 久久久精品国产 | 国产高清精品一区二区三区 | 伊人伊成久久人综合网站 | 日韩欧美一区二区三区免费观看 | 日韩看片| 欧美成人精品一区二区男人看 | 亚洲国产精品99久久久久久久久 | 国产精品日韩欧美一区二区三区 | 亚洲欧美日韩在线不卡 | 日本又色又爽又黄的大片 | 雨宫琴音一区二区在线 | 久久久91精品国产一区二区精品 | 日本小视频网站 | av黄色片在线观看 | 成人免费在线电影 | 日韩在线视频一区 | 久久99这里只有精品 | 国产精品自拍视频 | 婷婷综合色| 一区二区视频在线 | 久草免费电影 | 亚洲444eee在线观看 | aaaaaa大片免费看最大的 | xx视频在线观看 | 综合一区二区三区 | 国产资源在线观看 |