2018年3月22日-23日，由Ceph中國社區主辦的首屆Ceph亞太峰會 —— Cephalocon APAC 2018 在北京JW萬豪酒店盛大開幕，此次活動受到各界廣泛關注，大會首日吸引近千名現場及在線觀眾。

　　近年來，軟件定義存儲技術快速發展和應用，Ceph迎來了新的發展機遇，從社區走向商用，一次次的實踐在證明：Ceph已完全適用于大規模的企業應用和政務應用。此次大會上，杉巖數據統一存儲產品總監花瑞應邀出席并帶來了主題分享《基于Ceph BlueStore的杉巖智能緩存技術 AgileCache》，接下來詳細為大家揭秘SandStone AgileCache。

[[223687]]

　　為什么要推出SandStone AgileCache

　　傳統高性能SSD Cache方案大多基于內核態實現，著名的方案有bcache、dm-cache、flashcache等，這些緩存技術通常對工作在用戶態的應用程序暴露出的是通用塊設備，應用程序只能通過標準的file operation訪問混合盤塊設備，緩存策略方面只能從數據的冷熱程度這一個維度去實現。

　　在Ceph中如何更加高效合理地利用SSD緩存資源是一個很值得探討的問題，大部分場景下，在OSD層給ObjectStore做加速是業界普遍采用的方案，即將OSD直接創建在經過內核Cache軟件虛擬化出來的塊設備混合盤上。用戶態與內核態的天然屏障使得工作于內核態的Cache模塊無法感知工作在用戶態的OSD各種IO，比如：副本數據寫IO、集群恢復流量的寫IO、不同RBD卷的IO，也就無法做比較細粒度的緩存資源管理與控制。

　　技術創新的背后經歷了什么

　　針對上面提到的問題，杉巖研發團隊一開始評估過在***的BlueStore中開發一個用戶態的SSD Cache來解決，但是通過分析發現，這個工作量并不小，而且在已經比較復雜的BlueStore的IO路徑上增加一個支持WriteBack模式的Cache功能，嚴重增加了BlueStore的復雜度，在代碼可維護性及功能穩定性方面都是一個比較大的挑戰，更重要的是，這樣開發出來的帶有Cache功能的ObjectStore與Ceph社區的方向是背道而馳的，社區之所以在設計BlueStore之初不考慮加入SSD Cache功能，其中一個原因就是混合存儲畢竟只是一個過渡，全閃存會成為未來的主流。

　　那么怎樣以經濟高效的方式實現一個能夠感知Ceph集群內部各種數據類型的SSD Cache呢?杉巖的AgileCache給出了***的答案。SandStone AgileCache是一個Cache框架，兼容主流的內核態Cache，在Cache模塊之上，引入了杉巖自研的內核態direct-io模塊，負責將用戶態的數據類型標記下傳到內核Cache層，這種從用戶態往內核態Cache傳遞IO標記的方法我們稱之為“cadvise”。

SandStone AgileCache技術實現架構圖

　　有了“cadvise”標記，我們就打通了Cache的“任督二脈”，使得Cache可根據標記完全區分OSD的各種數據類型，比如BlueFS下來的數據，我們統一標記成BlueStore的METADATA，優先緩存;集群內部的恢復流量，我們可標記成DONTNEED，提示Cache模塊不緩存直接寫到后端HDD盤，預留出寶貴的SSD資源。

　　SandStone AgileCache為企業用戶帶來的價值

　　SandStone AgileCache技術打破了用戶態與內核態的之間的天然屏障，不僅擁有傳統SSD Cache的所有優點，還可以感知分布式存儲集群內部各種數據類型，并針對不同的數據類型采用不同的臟數據刷盤策略，以及不同的緩存數據回收策略，從而實現對緩存資源更細粒度的利用，降低企業用戶TCO。

　　此外，杉巖還開發了基于AgileCache智能緩存的卷優先級管理功能，針對不同的卷可以設置高、中、低三個優先級，高優先級的卷全部緩存在SSD中，中優先級的卷只有部分熱點數據緩存在SSD，較冷的數據保存在HDD中，低優先級的巻則不緩存，數據全部保存在HDD。企業用戶只需搭建一套混合集群，就能擁有全閃、混合、全HDD三種性能模式的卷，自動切換，保障業務的服務質量。目前，SandStone AgileCache已經應用于杉巖數據軟件定義存儲全線產品，服務于各種規模的存儲集群。