StratoVirt 是計算產業(yè)中面向云數據中心的企業(yè)級虛擬化 VMM，實現(xiàn)了一套架構統(tǒng)一支持虛擬機、容器、Serverless 三種場景。StratoVirt 在輕量低噪、軟硬協(xié)同、Rust 語言級安全等方面具備關鍵技術競爭優(yōu)勢。

背景介紹：

通常，在同一臺服務器上存在著不同的用戶，而多數用戶對內存的使用情況是一種間斷性的使用。也就是說用戶對內存的使用率并不是很高。在服務器這種多用戶的場景中，如果很多個用戶對于內存的使用率都不高的話，那么會存在服務器實際占用的內存并不飽滿這樣一種情況。實際上各個用戶使用內存的分布圖可能如下圖所示（黃色部分表示 used 部分，綠色部分表示 free 的部分）。

解決方案：

為了解決上述服務器上內存使用率低的問題，可以將虛擬機中暫時不用的內存回收回來給其他虛擬機使用。而當被回收內存的虛擬機需要內存時，由 host 再將內存歸還回去。有了這樣的內存伸縮能力，服務器便可以有效提高內存的使用率。在 StratoVirt 中，我們使用 balloon 設備來對虛擬機中的空閑內存進行回收和釋放。下面詳細了解一下 StratoVirt 中的 balloon 設備。

balloon 設備簡介：

由于 StratoVirt 只是負責為虛擬機分配內存，只能感知到每個虛擬機總的內存大小。但是在每個虛擬機中如何使用內存，內存剩余多少。StratoVirt 是無法感知的，也就無法得知該從虛擬機中回收多少內存了。為此，需要在虛擬機中放置一個“氣球（balloon）”設備。該設備通過 virtio 半虛擬化框架來實現(xiàn)前后端通信。當 Host 端需要回收虛擬機內部的空閑內存時，balloon 設備“充氣”膨脹，占用虛擬機內部內存。而將占用的內存交給 Host 使用。如果虛擬機的空閑內存被回收后，虛擬機內部由于業(yè)務要求突然需要內存時。位于虛擬機內部的 balloon 設備可以選擇“放氣”縮小。釋放出更多的內存空間給虛擬機使用。

balloon 實現(xiàn)：

balloon 的具體代碼實現(xiàn)位于 StratoVirt 項目的/virtio/src/balloon.rs 文件中，相關細節(jié)可閱讀代碼理解。代碼架構如下：

virtio
├──Cargo.toml
└──src
├──balloon.rs
├──block.rs
├──console.rs
├──lib.rs
├──net.rs
├──queue.rs
├──rng.rs
├──vhost
│├──kernel
││├──mod.rs
││├──net.rs
││└──vsock.rs
│└──mod.rs
├──virtio_mmio.rs
└──virtio_pci.rs

由于 balloon 是一個 virtio 設備，所以在前后端通信時也使用了 virtio 框架提供的 virtio queue。當前 StratoVirt 支持兩個隊列：inflate virtio queue（ivq）和 deflate virtio queue（dvq）。這兩個隊列分別負責 balloon 設備的“充氣”和“放氣”。

氣球的充放氣時，前后端的信息是通過一個結構體來傳遞。

structVirtioBalloonConfig{
///NumberofpageshostwantsGuesttogiveup.
pubnum_pages:u32,
///Numberofpageswe'veactuallygotinballoon.
pubactual:u32,
}

因此后端向前端要內存的時候，只需要修改這個結構體中的 num_pages 的數值，然后通知前端。前端讀取配置結構體中的 num_pages 成員。并與本身結構體中的 actual 對比，判斷是進行 inflate 還是 deflate。

inflate

如果是 inflate，那么虛擬機以 4k 頁為單位去申請?zhí)摂M機內存，并將申請到的內存地址保存在隊列中。然后通過 ivq 將保存了分配好的頁面地址的數組分批發(fā)往后端處理（virtio queue 隊列長度最大 256，也就是一次最多只能傳輸 1M 內存信息，對于大于 1M 的內存只能分批傳輸）。后端通過得到信息后，找到相應的 MemoryRegion，將對應的 page 標記為”WILLNEED“。然后通知前端，完成配置。

deflate

如果是 deflate 則從保存申請到的內存地址隊列中彈出一部分內存的地址。通過 dvq 分批次傳輸給后端處理。后端將 page 標記為“DONTNEED"。

下面結合代碼進行說明：

定義 BalloonIoHandler 結構體作為處理 balloon 事件的主體。

structBalloonIoHandler{
///Thefeaturesofdriver.
driver_features:u64,
///Addressspace.
mem_space:Arc,
///Inflatequeue.
inf_queue:Arc>,
///InflateEventFd.
inf_evt:EventFd,
///Deflatequeue.
def_queue:Arc>,
///DeflateEventFd.
def_evt:EventFd,
/*省略*/
}

其中包含上述的兩個 virtio 隊列inf_queue和def_queue，以及對應的觸發(fā)事件描述符（EventFd）inf_evt和def_evt。兩個隊列均使用了Mutex鎖，保證了隊列在同一時刻只有一個使用者對該隊列進行操作。保證了多線程共享的數據安全。

fnprocess_balloon_queue(&mutself,req_type:bool)->Result<()>{
letqueue=ifreq_type{
&mutself.inf_queue
}else{
&mutself.def_queue
};//獲得對應的隊列
letmutunlocked_queue=queue.lock().unwrap();
whileletOk(elem)=unlocked_queue
.vring
.pop_avail(&self.mem_space,self.driver_features)
{
matchRequest::parse(&elem){
Ok(req)=>{
if!self.mem_info.has_huge_page(){
//進行內存標記
req.mark_balloon_page(req_type,&self.mem_space,&self.mem_info);
}
/*省略*/
}
Err(e)=>{
/*省略錯誤處理*/
}
}
}
/*省略*/
}

當相應的EventFd被觸發(fā)后process_balloon_queue函數將會被調用。通過判斷請求類型確定是“充氣”還是”放氣“，然后再從相應的隊列中取數據進行內存標記。其中while let是 Rust 語言提供的一種循環(huán)模式匹配機制。借助該語法可以將隊列中 pop 出來的所有數據遍歷取出到elem中。

內存標記及優(yōu)化：

標記內存在mark_balloon_page函數中進行實現(xiàn)，起初的實現(xiàn)思路為：將虛擬機傳送過來的地址逐個進行標記。即，從隊列中取出一個元素，轉化為地址后立即進行標記。后來經過測試發(fā)現(xiàn)：balloon 設備在對頁地址進行一頁一頁標記內存時花費時間巨大。而同時也發(fā)現(xiàn)通過虛擬機傳回來的地址中有大段的連續(xù)內存段。于是通過改變標記方法：由原來的一頁一頁標記改為將這些連續(xù)的內存統(tǒng)一標記。大大節(jié)省了標記時間。下面代碼為具體實現(xiàn)：

fnmark_balloon_page(
&self,
req_type:bool,
address_space:&Arc,
mem:&BlnMemInfo,
){
letadvice=ifreq_type{
libc::MADV_DONTNEED
}else{
libc::MADV_WILLNEED
};
/*略*/
foriovinself.iovec.iter(){
letmutoffset=0;
letmuthvaset=Vec::new();
whileletSome(pfn)=iov_to_buf::(address_space,iov,offset){
offset+=std::()asu64;
letgpa:GuestAddress=GuestAddress((pfnasu64)<addr,
None=>{
/*略*/
}
};
//將hva地址保存在hvaset的vec中
hvaset.push(hva);
}
//對hvaset進行從小到大排序。
hvaset.sort_by_key(|&b|Reverse(b));
/*略*/
//將hvaset中連續(xù)的內存段進行標記
whileletSome(hva)=hvaset.pop(){
iflast_addr==0{
free_len+=1;
start_addr=hva;
}elseifhva==last_addr+BALLOON_PAGE_SIZE{
free_len+=1;
}else{
memory_advise(
start_addras*constlibc::c_voidas*mut_,
(free_len*BALLOON_PAGE_SIZE)asusize,
advice,
);
free_len=1;
start_addr=hva;
}

ifcount_iov==iov.iov_len{
memory_advise(
start_addras*constlibc::c_voidas*mut_,
(free_len*BALLOON_PAGE_SIZE)asusize,
advice,
);
}
count_iov+=std::()asu64;
last_addr=hva;
}
/*略*/
}
}
}

首先將 virtio 隊列中的地址全部取出，并保存在 vec 中，然后將該 vec 進行從小到大的排序。有利于快速找出連續(xù)的內存段并進行標記。由于 hvaset 中的地址是按照從小到大排列的，因此可以從頭開始遍歷 hvaset，遇到不連續(xù)的地址后將前面的連續(xù)段進行標記。這樣就完成了由原來逐頁標記到連續(xù)內存段統(tǒng)一標記的優(yōu)化。

經過測試，StratoVirt 的 balloon 速度也有了極大的提高。

原文標題：StratoVirt 基于 Rust 的 balloon 功能實踐

文章出處：【微信公眾號：openEuler】歡迎添加關注！文章轉載請注明出處。