10月14日，深信服云計(jì)算專家Leijian在信服云《云集技術(shù)學(xué)社》系列直播課上進(jìn)行了《深信服aSV服務(wù)器虛擬化功能及原理》的分享，介紹了服務(wù)器虛擬化的基本原理和深信服aSV服務(wù)器虛擬化特色技術(shù)。以下是他的分享內(nèi)容摘要，想要了解更多可以關(guān)注“深信服科技”公眾號(hào)。

從上世紀(jì)60年代開始，服務(wù)器虛擬化經(jīng)歷了60多年的發(fā)展，也有著十分明顯的代際變化。

第一代是基于二進(jìn)制翻譯的全虛擬化，它的典型應(yīng)用是早期的VMware Workstation。核心是通過(guò)二進(jìn)制發(fā)育的方式實(shí)現(xiàn)虛擬機(jī)的復(fù)用。

第二代是半虛擬化，它的典型應(yīng)用是Xen，通過(guò)修改操作系統(tǒng)內(nèi)核，替換掉不能虛擬化的指令，通過(guò)超級(jí)調(diào)用（Hypercall）直接和底層的虛擬化層Hypervisor來(lái)通訊，Hypervisor 同時(shí)也提供了超級(jí)調(diào)用接口來(lái)滿足其他關(guān)鍵內(nèi)核操作，比如內(nèi)存管理、中斷和時(shí)間保持。這種做法省去了全虛擬化中的捕獲和模擬，大大提高了效率。

第三代是硬件輔助虛擬化，核心是在裸金屬上安裝VMware，在上面跑GuestOS指令。有別于上兩代的是，它不用修改任何的GuestOS指令，可以直接運(yùn)行。

01

Qemu-KVM基本原理介紹

深信服目前應(yīng)用的硬件輔助虛擬化是基于Qemu-KVM實(shí)現(xiàn)的。

KVM是內(nèi)核的一個(gè)驅(qū)動(dòng)（kvm.ko），工作在內(nèi)核態(tài)（CPU Ring0），實(shí)際上是Linux內(nèi)核一個(gè)標(biāo)準(zhǔn)組件。KVM 內(nèi)核模塊收到該請(qǐng)求后，它先做一些準(zhǔn)備工作，比如將vCPU上下文加載到 VMCS （Virtual Machine Control Structure）等，然后驅(qū)動(dòng) CPU 進(jìn)入 VMX Non-Root 模式，開始執(zhí)行客戶機(jī)代碼。

Qemu是一個(gè)應(yīng)用程序，工作在用戶態(tài)（User mode 、CPU Ring3），提供外設(shè)的模擬、vCPU模擬、主控邏輯、IO收發(fā)等，當(dāng)GuestOS 需要發(fā)送IO請(qǐng)求、需要發(fā)送網(wǎng)絡(luò)包的時(shí)候，都需要調(diào)用VM_Exit讓Qemu協(xié)助實(shí)現(xiàn)。它能夠支持CPU 和 memory 超分、半虛擬化 I/O、熱插拔、對(duì)稱多處理、實(shí)時(shí)遷移、PCI 設(shè)備直接分配和單根 I/O 虛擬化、內(nèi)核同頁(yè)合并、NUMA等多項(xiàng)功能。使用Qemu的云廠商在這些功能配置上都是類似的。

使用Qemu-KVM有三種運(yùn)行模式：

第一種是客戶模式（Guest Ring0~3），可以簡(jiǎn)單理解成客戶機(jī)操作系統(tǒng)運(yùn)行在的模式，它本身又分為自己的內(nèi)核模式和用戶模式(CPU工作在 VMX Non-Root Operation）。

第二種是用戶模式（User Ring3），為用戶提供虛擬機(jī)管理的用戶空間工具以及代表用戶執(zhí)行I/O，Qemu運(yùn)行在這個(gè)模式之下（CPU工作在VMX Root Operation)。

第三種內(nèi)核模式（System Ring0），模擬CPU以及內(nèi)存，實(shí)現(xiàn)客戶模式的切換，處理從客戶模式的退出，KVM內(nèi)核模塊運(yùn)行在這個(gè)模式下（CPU工作在 VMX  Root Operation)。

02

Virtio(aTool) 和全虛介紹

Virtio半虛：實(shí)際上是在Qemu和虛擬機(jī)之間設(shè)置一個(gè)共享內(nèi)存Vring，當(dāng)有數(shù)據(jù)需要發(fā)送的時(shí)候，把數(shù)據(jù)拷貝到共享內(nèi)存Vring中，然后調(diào)用一次VM_Exit退出到Qemu中，Qemu再把這個(gè)Vring的數(shù)一次性全部發(fā)出（注意：如果虛擬機(jī)此時(shí)在快速發(fā)包，有可能Vring中已經(jīng)緩存了多個(gè)包，從而更進(jìn)一步減少了VM_Exit）。這樣可以減少VM_Exit的次數(shù)，從而大大提高性能（可以理解成在GuestOS和Qemu之間開了個(gè)后門）。

Virtio半虛擬可以獲得很好的I/O性能，比純軟件模擬高于4倍多，其性能幾乎可以達(dá)到和Native（即非虛擬化環(huán)境中的原生系統(tǒng)）差不多的I/O性能。所以，在使用KVM之時(shí)，如果宿主機(jī)內(nèi)核和客戶機(jī)都支持Virtio的情況下，一般推薦使用Virtio達(dá)到更好的性能。

IO全虛擬：以磁盤或者網(wǎng)絡(luò)為例，當(dāng)虛擬機(jī)有數(shù)據(jù)需要發(fā)送的時(shí)候，需要通過(guò)Qemu模擬所有的硬件寄存器，虛擬機(jī)OS把這些數(shù)據(jù)填充到模擬的硬件中，然后訪問(wèn)設(shè)置這些寄存器，觸發(fā)VM_Exit退出，Qemu接收到這些數(shù)據(jù)，再把這些數(shù)據(jù)真實(shí)的寫入到磁盤、發(fā)送到網(wǎng)卡。這個(gè)過(guò)程發(fā)送一個(gè)數(shù)據(jù)包，可能要多次設(shè)置寄存器，導(dǎo)致多次退出，從而性能較差。

03

超配原理以及限制介紹

虛擬機(jī)在Hypervisor看來(lái)，就是一個(gè)配置文件+vDisk文件（配置文件會(huì)注明磁盤大小、CPU、內(nèi)存數(shù)量、型號(hào)等等基礎(chǔ)信息，這些信息會(huì)在虛擬機(jī)啟動(dòng)的時(shí)候，傳遞到虛擬機(jī)啟動(dòng)參數(shù)），而每個(gè)vDISK實(shí)際上在Hypervisor看來(lái)就是一個(gè)文件。

KVM的vDISK有兩種格式：RAW 和 QCOW2格式。RAW格式性能更高些，但相比QCOW2，RAW不支持快照、精簡(jiǎn)分配等特性，故而深信服采用的是QCOW2格式。

對(duì)于QCOW2文件，有三種模式：精簡(jiǎn)分配、動(dòng)態(tài)分配（需要底層存儲(chǔ)支持空洞文件）、預(yù)分配模式。其中“預(yù)分配”性能最好，接近于RAW格式的性能，“精簡(jiǎn)分配”性能最差，“動(dòng)態(tài)分配”居中（注意：目前超融合中動(dòng)態(tài)分配已接近于預(yù)分配性能、aSAN有優(yōu)化）。

對(duì)于精簡(jiǎn)分配和動(dòng)態(tài)分配，假設(shè)實(shí)際上是配置文件寫分配2TB,但實(shí)際QCOW2文件占用可能很小（實(shí)際大小取決于真實(shí)數(shù)據(jù)），因而可以超配，即配置的虛擬機(jī)總磁盤大小，大于實(shí)際物理主機(jī)的磁盤大小。

物理主機(jī)虛擬內(nèi)存包含物理內(nèi)存（內(nèi)存條，高速）+ SWAP（硬盤分區(qū)、龜速）；物理內(nèi)存不夠時(shí)，系統(tǒng)會(huì)根據(jù)配置使用SWAP分區(qū)（深信服超融合在平臺(tái)上默認(rèn)設(shè)置“盡量不用SWAP”的策略）。vMEM超配本質(zhì)是假設(shè)給虛擬機(jī)分配32G內(nèi)存，虛擬機(jī)實(shí)際占用只了24G，理論上8G（32G-24G=8G）是可以回收的，這回收的部分理論上可以給其他虛擬機(jī)用。此時(shí)，就需要用到KSM（沒有安裝aTool的生效）或者氣泡內(nèi)存技術(shù)（安裝了aTool的生效）。但內(nèi)存超配可能會(huì)造成系統(tǒng)物理內(nèi)存耗盡，導(dǎo)致系統(tǒng)卡頓的情況。因此，在核心系統(tǒng)上，要控制超分內(nèi)存的比率，或者不要超配。

每個(gè)運(yùn)行中的虛擬機(jī)在Hypervisor看來(lái)，就是一個(gè)系統(tǒng)進(jìn)程，而vCPU是該進(jìn)程的一個(gè)線程。同一時(shí)刻，每個(gè)vCPU線程最多占用一個(gè)物理CPU的邏輯核，且多個(gè)vCPU之間的同步、調(diào)度會(huì)消耗額外的資源（因此，當(dāng)單個(gè)虛擬機(jī)的vcpu數(shù)量超過(guò)物理主機(jī)的邏輯核時(shí)，實(shí)際上會(huì)讓虛擬機(jī)的性能反而變低）。

無(wú)論vCPU數(shù)量配置多大，總的物理主機(jī)CPU資源是恒定的，因而：

（1）單個(gè)虛擬機(jī)最大的配置不要超過(guò)物理CPU的核心數(shù)量；

（2）主機(jī)上運(yùn)行所有虛擬機(jī)的總vCPU數(shù)量不能太多，否則調(diào)度消耗會(huì)增大。生產(chǎn)環(huán)境最佳實(shí)踐為不超過(guò)CPU的邏輯核心的2倍，主要參考真實(shí)生產(chǎn)中物理CPU占用一般不超過(guò)20%；超配2倍以后，物理CPU占用40%左右，超配要考慮峰值預(yù)留，且物理CPU占用超過(guò)50%以上，已經(jīng)比較繁忙了。

04

熱遷移基本原理介紹

熱遷移分為兩種形式，一種是共享存儲(chǔ)熱遷移，此種熱遷移形式，需要虛擬機(jī)鏡像在共享存儲(chǔ)上，此種遷移類型，只需要通過(guò)網(wǎng)絡(luò)發(fā)送客戶機(jī)的vCPU執(zhí)行狀態(tài)、內(nèi)存中的內(nèi)容、虛機(jī)設(shè)備的狀態(tài)到目的主機(jī)上。另一種是跨主機(jī)跨存儲(chǔ)熱遷移，與跨主機(jī)不跨存儲(chǔ)熱遷移類似。不同的是其需要在目的存儲(chǔ)創(chuàng)建相同配置的虛擬機(jī)鏡像（空白的，沒有數(shù)據(jù)），之后仍然是在目的宿主機(jī)上啟動(dòng)目的端Qemu進(jìn)程， 目的端Qemu鏡像打開新創(chuàng)建的鏡像文件。另外還需要傳送源端虛擬機(jī)的磁盤數(shù)據(jù)到目的端。

虛擬機(jī)快速備份

通過(guò)快速的無(wú)代理磁盤備份保護(hù)您的數(shù)據(jù)，使用增量備份減少備份所需空間，降低備份成本。它能夠?qū)崿F(xiàn)無(wú)需備份軟件和備份服務(wù)器，實(shí)現(xiàn)增量的備份，快速備份比普通基于快照備份 性能提升60%，且備份完成后，性能無(wú)損失。另外還能提供手工備份和定時(shí)備份功能，保證虛擬機(jī)文件的數(shù)據(jù)安全。與快照備份性能相比，深信服虛擬機(jī)快速備份在備份過(guò)程中性能影響小，備份后不影響性能。

 CDP技術(shù)

CDP技術(shù)實(shí)現(xiàn)依賴于HCI自帶的“備份技術(shù)” + “IO 分流技術(shù)”。虛擬機(jī)同時(shí)開啟業(yè)務(wù)（Qemu）和CDP功能（cdp_worker），并為該虛擬機(jī)開辟一塊共享內(nèi)存作為主業(yè)務(wù)和CDP模塊的共享緩存區(qū)。CDP模塊（cdp_worker）可直接向Qemu下發(fā)備份指令，指示QCOW2鏡像進(jìn)行備份動(dòng)作，形成全備和增備BP。首次開啟CDP功能，需要進(jìn)行一次全備生成BP基準(zhǔn)點(diǎn)，后續(xù)根據(jù)設(shè)置的定期備份頻率（小時(shí)級(jí)）定期生成BP點(diǎn)。BP點(diǎn)以備份文件的形式存在CDP數(shù)據(jù)存儲(chǔ)區(qū)。CDP采用旁路架構(gòu)+IO分流技術(shù)，經(jīng)過(guò)共享緩存區(qū)，實(shí)現(xiàn)從主業(yè)務(wù)異步復(fù)制IO到CDP 日志存儲(chǔ)區(qū)（io倉(cāng)庫(kù)）, 以IO日志的形式存在；根據(jù)設(shè)置的IO日志間隔時(shí)間（RPO=1s/5s），定期生成RP點(diǎn)，單獨(dú)利用RP并不能夠恢復(fù)數(shù)據(jù)，所有的RP均依賴于對(duì)應(yīng)的BP。相較于傳統(tǒng)CDP，搭載HCI的CDP技術(shù)有著更高的容錯(cuò)能力和虛擬機(jī)兼容性。

 容災(zāi)技術(shù)

深信服采用“本地備份-異地容災(zāi)”的方案，本地提供秒級(jí)的持續(xù)數(shù)據(jù)保護(hù)方案，當(dāng)虛擬機(jī)出現(xiàn)故障時(shí)，可以快速?gòu)谋镜氐谋Ｗo(hù)數(shù)據(jù)中恢復(fù)整臺(tái)虛擬機(jī)；異地提供不同RPO（1秒、10秒、10分鐘、30分鐘、1小時(shí)、2小時(shí)、4小時(shí)、8小時(shí)、12小時(shí)、1天、2天、一周）的虛擬機(jī)級(jí)容災(zāi)功能，主、備站點(diǎn)皆為深信服的企業(yè)云平臺(tái)。

基于AI的調(diào)度優(yōu)化技術(shù)

當(dāng)一臺(tái)物理主機(jī)上運(yùn)行多臺(tái)虛擬機(jī)的時(shí)候，虛擬機(jī)之間必然會(huì)有資源的競(jìng)爭(zhēng)，包括CPU、內(nèi)存、Cache、TLB、QPI等資源競(jìng)爭(zhēng)。傳統(tǒng)的虛擬化優(yōu)化技術(shù)無(wú)法知道資源的供需關(guān)系。傳統(tǒng)虛擬化優(yōu)化技術(shù)無(wú)資源感知能力，如CPU級(jí)資源競(jìng)爭(zhēng)，內(nèi)存帶寬競(jìng)爭(zhēng)；無(wú)協(xié)同優(yōu)化能力，如計(jì)算，存儲(chǔ)與網(wǎng)絡(luò)的協(xié)同優(yōu)化；無(wú)業(yè)務(wù)感知能力，重要核心虛擬機(jī)依然會(huì)受到其他虛擬機(jī)的資源競(jìng)爭(zhēng)。而深信服基于AI的性能優(yōu)化引擎，擁有業(yè)務(wù)感知能力通過(guò)AI引擎識(shí)別當(dāng)前業(yè)務(wù)場(chǎng)景的核心資源需求和業(yè)務(wù)場(chǎng)景的資源瓶頸。AI引擎基于業(yè)務(wù)的歷史資源標(biāo)簽建立性能優(yōu)化模型。自適應(yīng)的性能優(yōu)化架構(gòu)能夠根據(jù)業(yè)務(wù)的資源標(biāo)簽推薦最優(yōu)的資源配置并根據(jù)業(yè)務(wù)的資源標(biāo)簽推薦最優(yōu)的調(diào)度策略。

還想了解更多云計(jì)算知識(shí)？請(qǐng)鎖定云集技術(shù)學(xué)社，大咖云集為你分享更多云計(jì)算領(lǐng)域干貨與實(shí)踐經(jīng)驗(yàn)。