Linux內(nèi)核內(nèi)存伙伴算法:高效內(nèi)存管理的核心機(jī)制
在 Linux 內(nèi)核的復(fù)雜生態(tài)中,內(nèi)存管理堪稱系統(tǒng)穩(wěn)定運(yùn)行的 “心臟”。當(dāng)我們?cè)诜?wù)器上部署高并發(fā)應(yīng)用,或是在嵌入式設(shè)備上追求極致性能時(shí),內(nèi)存分配的效率與碎片控制往往決定了系統(tǒng)的最終表現(xiàn)。作為 Linux 內(nèi)核內(nèi)存管理的核心組件,伙伴算法(Buddy Algorithm)如同一位精密的 “內(nèi)存管家”,通過(guò)巧妙的伙伴關(guān)系與動(dòng)態(tài)拆分合并機(jī)制,在保證分配效率的同時(shí),將內(nèi)存碎片控制在最低水平。
當(dāng)我們深入探索 Linux 內(nèi)核的奧秘時(shí),伙伴算法就像是一位默默無(wú)聞卻又無(wú)比可靠的守護(hù)者,精心地調(diào)配著內(nèi)存資源,確保每一個(gè)程序都能在恰當(dāng)?shù)臅r(shí)機(jī)獲得所需的內(nèi)存空間,同時(shí)又能最大限度地減少內(nèi)存碎片,提高內(nèi)存的利用率。那么,究竟什么是伙伴算法?它是如何在復(fù)雜的內(nèi)核環(huán)境中發(fā)揮關(guān)鍵作用的呢?讓我們一同開(kāi)啟這場(chǎng)關(guān)于 Linux 內(nèi)核內(nèi)存伙伴算法的精彩之旅。
一、伙伴算法簡(jiǎn)介
在Linux系統(tǒng)中,內(nèi)存的分配與回收速率直接影響系統(tǒng)的存取效率。當(dāng)內(nèi)核頻繁請(qǐng)求和釋放不同大小的一組連續(xù)頁(yè)框時(shí),會(huì)導(dǎo)致許多外部空閑碎片,造成空間的浪費(fèi)。使用伙伴算法可以有效地緩解該問(wèn)題。伙伴關(guān)系機(jī)制是操作系統(tǒng)中的一種動(dòng)態(tài)存儲(chǔ)管理算法。在進(jìn)行內(nèi)存分配時(shí),該算法通過(guò)不斷平分較大的空閑內(nèi)存塊來(lái)獲得較小的空閑內(nèi)存塊,直到獲得所需要的內(nèi)存塊;在進(jìn)行內(nèi)存回收時(shí),該算法盡可能地合并空閑塊。
內(nèi)存管理是應(yīng)用程序通過(guò)硬件和軟件協(xié)作訪問(wèn)內(nèi)存的一種方法,當(dāng)進(jìn)程請(qǐng)求內(nèi)存使用時(shí),它給進(jìn)程分配可用的內(nèi)存;當(dāng)進(jìn)程釋放內(nèi)存時(shí),回收相應(yīng)的內(nèi)存,同時(shí)負(fù)責(zé)跟蹤系統(tǒng)中內(nèi)存的使用狀態(tài)。伙伴算法是一種經(jīng)典的內(nèi)存管理算法,在 Linux 操作系統(tǒng)中有著廣泛應(yīng)用。其作用是減少存儲(chǔ)空間中的空洞、減少碎片、增加利用率。伙伴算法將所有空閑頁(yè)框分組為 11 個(gè)塊鏈表,每塊鏈表分別包含大小為 1、2、4、8、16、32、64、128、256、512 和 1024 個(gè)連續(xù)頁(yè)框的頁(yè)框塊。例如,大小為 16 個(gè)頁(yè)框的塊,其起始地址是 16 * 2^12 的倍數(shù)。
當(dāng)有內(nèi)存分配請(qǐng)求時(shí),伙伴算法先在與請(qǐng)求大小相同的塊鏈表中查找空閑塊。如果沒(méi)有找到,就去更大的塊鏈表中查找。例如,假設(shè)要請(qǐng)求一個(gè) 256 個(gè)頁(yè)框的塊,算法先在 256 個(gè)頁(yè)框的鏈表中檢查是否有空閑塊。如果沒(méi)有這樣的塊,算法會(huì)查找下一個(gè)更大的頁(yè)塊,也就是在 512 個(gè)頁(yè)框的鏈表中找一個(gè)空閑塊。
如果存在這樣的塊,內(nèi)核就把 512 的頁(yè)框分成兩等分,一半用作滿足需求,另一半則插入到 256 個(gè)頁(yè)框的鏈表中。如果在 512 個(gè)頁(yè)框的塊鏈表中也沒(méi)找到空閑塊,就繼續(xù)找更大的塊 ——1024 個(gè)頁(yè)框的塊。如果這樣的塊存在,內(nèi)核就把 1024 個(gè)頁(yè)框塊的 256 個(gè)頁(yè)框用作請(qǐng)求,然后剩余的 768 個(gè)頁(yè)框中拿 512 個(gè)插入到 512 個(gè)頁(yè)框的鏈表中,再把最后的 256 個(gè)插入到 256 個(gè)頁(yè)框的鏈表中。如果 1024 個(gè)頁(yè)框的鏈表還是空的,算法就放棄并發(fā)出錯(cuò)誤信號(hào)。
在釋放內(nèi)存時(shí),內(nèi)核試圖把大小為 b 的一對(duì)空閑伙伴塊合并為一個(gè)大小為 2b 的單獨(dú)塊。滿足以下條件的兩個(gè)塊稱為伙伴:兩個(gè)塊具有相同的大小,記作 b;它們的物理地址是連續(xù)的;第一塊的第一個(gè)頁(yè)框的物理地址是 2 * b * 2^12 的倍數(shù)。該算法是迭代的,如果它成功合并所釋放的塊,它會(huì)試圖合并 2b 的塊,以再次試圖形成更大的塊。
二、伙伴算法核心原理
2.1什么是 “伙伴關(guān)系”?
伙伴算法的核心在于 “伙伴關(guān)系” ,這是一種獨(dú)特的內(nèi)存塊關(guān)聯(lián)方式。假設(shè)我們有一塊完整的蛋糕,它代表一大塊連續(xù)的內(nèi)存。當(dāng)程序需要不同大小的內(nèi)存時(shí),就如同要把蛋糕切成不同大小的塊。如果把這塊 8 頁(yè)的 “蛋糕” 平均切成兩半,每半就是 4 頁(yè),這兩個(gè) 4 頁(yè)的小塊就形成了特殊的 “伙伴” 關(guān)系。
伙伴關(guān)系可不是隨意確定的,它有嚴(yán)格的條件:首先,大小必須相同。就像天平兩端,只有重量相等才能平衡,內(nèi)存塊也一樣,必須是相同大小的才能成為伙伴,比如 4 頁(yè)的和 4 頁(yè)的,8 頁(yè)的和 8 頁(yè)的。其次,地址得連續(xù)。想象一排房子,相鄰的兩間房才是緊密相連的,內(nèi)存塊的物理地址也需無(wú)縫銜接。最后,它們必須是從同一個(gè)大塊內(nèi)存分裂而來(lái),就像同一對(duì)父母生出的雙胞胎,有著緊密的 “血緣關(guān)系”。
這種伙伴關(guān)系在內(nèi)存管理中至關(guān)重要。當(dāng)系統(tǒng)要分配內(nèi)存時(shí),如果沒(méi)有剛好合適大小的空閑塊,就從大的內(nèi)存塊中拆分。比如程序需要 4 頁(yè)內(nèi)存,而當(dāng)前只有 8 頁(yè)的空閑塊,那就把 8 頁(yè)塊分成兩個(gè) 4 頁(yè)塊,一個(gè)給程序,另一個(gè)先留著備用。回收內(nèi)存時(shí),若發(fā)現(xiàn)某個(gè)內(nèi)存塊的伙伴也處于空閑狀態(tài),就像找到了失散的雙胞胎,把它們合并回更大的塊,如此循環(huán)往復(fù),確保內(nèi)存始終以 2 的冪次(1/2/4/8…1024 頁(yè))的塊存在,從根本上減少外部碎片。
2.2數(shù)據(jù)結(jié)構(gòu):給內(nèi)存塊 “分門(mén)別類”
為了高效管理這些不同大小的內(nèi)存塊,Linux 內(nèi)核采用了精心設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)。內(nèi)核使用一個(gè)數(shù)組來(lái)管理不同大小的空閑塊,數(shù)組下標(biāo) order 表示塊大小為 \(2^{\text{order}}\) 頁(yè) 。簡(jiǎn)單來(lái)說(shuō),order 為 0 時(shí),對(duì)應(yīng) 1 頁(yè);order 為 1 時(shí),對(duì)應(yīng) 2 頁(yè),以此類推,當(dāng) order 為 10 時(shí),對(duì)應(yīng) 1024 頁(yè),也就是 4MB 。這就像一個(gè)有序的書(shū)架,每個(gè)格子對(duì)應(yīng)一種特定大小的內(nèi)存塊。
每個(gè) order 對(duì)應(yīng)的元素包含兩個(gè)關(guān)鍵部分:一是空閑鏈表,它像一條無(wú)形的線,把同大小的空閑塊用雙向鏈表的形式鏈接起來(lái),方便快速查找和操作;二是數(shù)量統(tǒng)計(jì),記錄著當(dāng)前這種大小的空閑塊總數(shù),讓系統(tǒng)隨時(shí)清楚每種規(guī)格的 “庫(kù)存”。
除了對(duì)內(nèi)存塊大小的管理,內(nèi)核還根據(jù)內(nèi)存頁(yè)的特性,將其分為三類遷移類型 :不可移動(dòng)頁(yè),這類就像是內(nèi)核的 “定海神針”,存放著內(nèi)核核心數(shù)據(jù),在內(nèi)存中有固定位置,不能輕易移動(dòng);可回收頁(yè),如同可循環(huán)利用的資源,比如文件映射數(shù)據(jù),即使被刪除也能從其他地方重新生成;可移動(dòng)頁(yè),主要用于用戶空間內(nèi)存,就像自由遷徙的候鳥(niǎo),可以自由搬遷,因?yàn)橛脩艨臻g通過(guò)頁(yè)表映射,內(nèi)存位置變化時(shí)頁(yè)表相應(yīng)更新,應(yīng)用程序也不會(huì)察覺(jué)。
通過(guò) cat /proc/pagetypeinfo 命令,我們能直觀看到各遷移類型的內(nèi)存分布情況,就像查看一份詳細(xì)的資源清單。這有助于系統(tǒng)在分配內(nèi)存時(shí),根據(jù)不同類型的需求和特性,合理安排,避免因錯(cuò)誤分配導(dǎo)致 “牽一發(fā)而動(dòng)全身” 的風(fēng)險(xiǎn),保障系統(tǒng)穩(wěn)定高效運(yùn)行。
2.3伙伴算法管理結(jié)構(gòu)
伙伴算法把物理內(nèi)存分為11個(gè)組,第0、1、...10組分別包含2^0、2^1、...2^10個(gè)連續(xù)物理頁(yè)面的內(nèi)存。在zone結(jié)構(gòu)中,有一個(gè)free_area數(shù)組,數(shù)組的每一個(gè)成員代表一個(gè)組,相關(guān)定義如下:
#define MAX_ORDER 11
struct zone {
...
struct free_area free_area[MAX_ORDER];
...
}
struct free_area {
struct list_head free_list;
/*該組類別塊空閑的個(gè)數(shù)*/
unsigned long nr_free;
};由此可知伙伴算法管理結(jié)構(gòu)如下圖所示:
圖片
Linux 內(nèi)核對(duì)各個(gè) zone 都有一個(gè) buddy system,通過(guò) free_area 數(shù)組來(lái)管理空閑塊。分配和回收內(nèi)存時(shí),頁(yè)面分配代碼使用 free_area 數(shù)組來(lái)尋找和釋放頁(yè)面。在 Linux 中,free_area 數(shù)組是一個(gè)關(guān)鍵的數(shù)據(jù)結(jié)構(gòu),它用于管理不同大小的內(nèi)存塊。數(shù)組中的每個(gè)元素對(duì)應(yīng)一種大小的內(nèi)存塊,從大小為 1 個(gè)頁(yè)框的塊到大小為 1024 個(gè)頁(yè)框的塊。每個(gè)元素都是一個(gè) struct free_area 結(jié)構(gòu)體,包含一個(gè)雙向鏈表 free_list 和一個(gè)表示空閑塊數(shù)量的變量 nr_free。
當(dāng)進(jìn)行內(nèi)存分配時(shí),頁(yè)面分配代碼會(huì)首先檢查與請(qǐng)求大小相同的塊鏈表。例如,如果請(qǐng)求一個(gè)大小為特定值(假設(shè)為 N)的內(nèi)存塊,算法會(huì)先在與 N 大小相同的塊鏈表中查找空閑塊。如果沒(méi)有找到合適的塊,就會(huì)去更大的塊鏈表中繼續(xù)查找。這個(gè)過(guò)程類似于我們之前討論過(guò)的伙伴算法的分配過(guò)程。如果在合適的塊鏈表中找到了空閑塊,就會(huì)從該鏈表中取出一個(gè)塊,并進(jìn)行相應(yīng)的處理,例如更新鏈表和空閑塊數(shù)量等。
當(dāng)進(jìn)行內(nèi)存回收時(shí),頁(yè)面分配代碼同樣會(huì)使用 free_area 數(shù)組。當(dāng)一個(gè)內(nèi)存塊被釋放時(shí),算法會(huì)將該塊插入到相應(yīng)大小的塊鏈表中。然后,算法會(huì)檢查與該內(nèi)存塊相鄰的內(nèi)存是否是同樣大小并且同樣處于空閑的狀態(tài)。如果是,就將這兩塊內(nèi)存合并,并繼續(xù)檢查是否可以與更大的空閑塊合并,這個(gè)過(guò)程與伙伴算法的釋放過(guò)程一致。通過(guò)這種方式,Linux 內(nèi)核的 buddy system 能夠有效地管理內(nèi)存,減少內(nèi)存碎片,提高內(nèi)存的利用率。
三、分配與回收工作流程
3.1分配流程:從 “找合適的塊” 到 “拆出所需”
當(dāng)內(nèi)核接到內(nèi)存分配請(qǐng)求時(shí),伙伴算法就如同接到任務(wù)的快遞分揀員,迅速而有序地開(kāi)始工作。假設(shè)一個(gè)應(yīng)用程序向內(nèi)核請(qǐng)求分配 256 頁(yè)內(nèi)存,這在伙伴算法的 “世界” 里,就需要找到與之匹配的內(nèi)存塊資源。
首先,算法會(huì)在代表 256 頁(yè)(order = 8 )的空閑鏈表中查找是否有現(xiàn)成的空閑塊 。這就像在快遞分揀站的特定區(qū)域?qū)ふ覄偤煤线m大小的包裹格子。如果運(yùn)氣好,找到了空閑塊,那就直接將其分配給請(qǐng)求者,任務(wù)輕松完成。但實(shí)際情況往往沒(méi)這么簡(jiǎn)單,很多時(shí)候這個(gè)鏈表中并沒(méi)有空閑塊,這時(shí)算法就需要擴(kuò)大搜索范圍。
算法會(huì)向上查找更大的內(nèi)存塊鏈表,比如 order = 9 (512 頁(yè))、order = 10 (1024 頁(yè)) 。當(dāng)發(fā)現(xiàn)一個(gè) 1024 頁(yè)的空閑塊時(shí),就像找到了一個(gè)大尺寸的包裹格子,但它比實(shí)際需求大。這時(shí)算法會(huì)對(duì)這個(gè) 1024 頁(yè)的塊進(jìn)行拆分,將其一分為二,變成兩個(gè) 512 頁(yè)的塊,這兩個(gè) 512 頁(yè)的塊就是一對(duì)伙伴 。然后,再將其中一個(gè) 512 頁(yè)的塊繼續(xù)拆分,又得到兩個(gè) 256 頁(yè)的塊。最終,將其中一個(gè) 256 頁(yè)的塊分配給請(qǐng)求的應(yīng)用程序,而剩余的 768 頁(yè)內(nèi)存,會(huì)分別將 512 頁(yè)和 256 頁(yè)的塊加入到對(duì)應(yīng)的空閑鏈表中,等待下一次被分配。
為了進(jìn)一步提升分配效率,對(duì)于單個(gè)頁(yè)面(order = 0 )的分配,Linux 內(nèi)核采用了特殊的優(yōu)化策略,即直接從 Per-CPU 緩存分配 。這就好比每個(gè)快遞員都有自己的小包裹存放區(qū),對(duì)于小包裹(單個(gè)頁(yè)面),直接從自己的小區(qū)域中拿取,無(wú)需去大的分揀站(全局內(nèi)存鏈表),避免了全局鎖競(jìng)爭(zhēng),大大提升了在高并發(fā)場(chǎng)景下的內(nèi)存分配效率,讓系統(tǒng)能夠快速響應(yīng)大量的內(nèi)存請(qǐng)求。
3.2回收流程:從 “標(biāo)記空閑” 到 “遞歸合并”
內(nèi)存回收是伙伴算法的另一個(gè)關(guān)鍵環(huán)節(jié),它就像一個(gè)反向的拼圖過(guò)程,將零散的空閑內(nèi)存塊重新拼湊成大塊,以提高內(nèi)存的利用率。當(dāng)一個(gè)進(jìn)程釋放 256 頁(yè)內(nèi)存塊時(shí),伙伴算法會(huì)立即介入,檢查這塊內(nèi)存的伙伴塊狀態(tài) 。
伙伴塊就像是失散的 “孿生兄弟”,有著相同的大小、連續(xù)的地址,并且是從同一個(gè)大塊內(nèi)存分裂而來(lái)。如果發(fā)現(xiàn)伙伴塊也處于空閑狀態(tài),算法就會(huì)將這兩個(gè) 256 頁(yè)的伙伴塊合并成一個(gè) 512 頁(yè)的塊 ,就像將兩個(gè)小拼圖碎片拼成一個(gè)大的。
合并后的 512 頁(yè)塊并不會(huì)就此 “安定”,算法會(huì)繼續(xù)檢查這個(gè) 512 頁(yè)塊的伙伴塊是否空閑。如果其伙伴也空閑,就會(huì)繼續(xù)合并,將兩個(gè) 512 頁(yè)的塊合并成一個(gè) 1024 頁(yè)的塊 ,如此遞歸下去,直到找不到空閑的伙伴塊,無(wú)法再合并為止。
通過(guò)這種 “逆向拆分” 的回收機(jī)制,原本零散分布的小塊空閑內(nèi)存,被不斷地 “拼裝” 成大塊連續(xù)內(nèi)存 。這不僅讓內(nèi)存空間得到了更充分的利用,還確保了物理內(nèi)存的連續(xù)性,為后續(xù)可能的大內(nèi)存塊分配請(qǐng)求提供了保障,使得系統(tǒng)在長(zhǎng)時(shí)間運(yùn)行過(guò)程中,始終能保持高效的內(nèi)存管理能力。
3.3伙伴算法的初始化和釋放
①伙伴算法初始化過(guò)程
在start_kernel->mem_init-> free_all_bootmem_node->free_all_bootmem_core-> __free_pages_bootmem-> __free_pages->__free_pages_ok->free_one_page-> __free_one_page函數(shù)中,通過(guò)對(duì)每一個(gè)頁(yè)面進(jìn)行釋放,從而完成對(duì)伙伴算法的初始化工作。
②伴算法的具體釋放過(guò)程
伙伴算法釋放的思想:當(dāng)釋放2^order頁(yè)大小內(nèi)存時(shí),查看它的伙伴是否空閑,如果空閑就將伙伴從該組鏈表中刪除,并且將這兩個(gè)空閑的伙伴內(nèi)存區(qū)域合并成一個(gè)更高階的空閑內(nèi)存區(qū)域,依次這樣操作下去。
_free_one_page函數(shù)分析如下:
static inline void __free_one_page(struct page *page,
struct zone *zone, unsigned int order)
{
unsigned long page_idx;
int order_size = 1 << order;
int migratetype = get_pageblock_migratetype(page);
/*用PFN作為mem_map數(shù)組下標(biāo)就可以索引到對(duì)應(yīng)的page結(jié)構(gòu)*/
page_idx = page_to_pfn(page) & ((1 << MAX_ORDER) - 1);
__mod_zone_page_state(zone, NR_FREE_PAGES, order_size);
/*這個(gè)循環(huán)主要查看當(dāng)前釋放塊伙伴是否空閑,如果空閑則合并它們*/
while (order < MAX_ORDER-1) {
unsigned long combined_idx;
struct page *buddy;
/*找到釋放塊的伙伴*/
buddy = __page_find_buddy(page, page_idx, order);
/*判斷釋放塊的伙伴是否空閑*/
if (!page_is_buddy(page, buddy, order))
break;
list_del(&buddy->lru);
zone->free_area[order].nr_free--;
rmv_page_order(buddy);
combined_idx = __find_combined_index(page_idx, order);
page = page + (combined_idx - page_idx);
page_idx = combined_idx;
order++;
}
set_page_order(page, order);
list_add(&page->lru,
&zone->free_area[order].free_list[migratetype]);
zone->free_area[order].nr_free++;
}3.4伙伴算法的內(nèi)存分配
①伙伴算法內(nèi)存分配的過(guò)程
當(dāng)內(nèi)核收到alloc_pages系列函數(shù)的分配請(qǐng)求時(shí),首先需要確定是從哪一個(gè)節(jié)點(diǎn)上分配,然后再確定需要從節(jié)點(diǎn)的哪一個(gè)zone上分配,最后再根據(jù)伙伴算法,確定從zone的哪一個(gè)free_area數(shù)組成員上分配。在內(nèi)存不足的情況下,還要回收內(nèi)存,如果內(nèi)存還是不夠,還要調(diào)度kswapd把必要的內(nèi)存存儲(chǔ)到交換分區(qū)中。內(nèi)存分配模塊總是試圖從代價(jià)最小的節(jié)點(diǎn)上分配,而對(duì)zone的確定則根據(jù)alloc_pages()系列函數(shù)的gfp_mask用以下規(guī)則確定:
- 如果gfp_mask參數(shù)設(shè)置了__GFP_DMA位,則只能從ZONE_DMA中分配。
- 如果gfp_mask參數(shù)設(shè)置了__GFP_HIGHMEM位,則能夠從ZONE_DMA、ZONE_NORMAL、ZONE__HIGHMEM中分配。
- 如果__GFP_DMA和__GFP_HIGHMEM都沒(méi)有設(shè)置,則能夠從ZONE_DMA和ZONE_NORMAL中分配。
當(dāng)然,如果沒(méi)有指定__GFP_DMA標(biāo)志,則會(huì)盡量避免使用ZONE_DMA區(qū)的內(nèi)存,只有當(dāng)指定的區(qū)內(nèi)存不足,而ZONE_DMA區(qū)又有充足的內(nèi)存時(shí),才會(huì)從ZONE_DMA中分配。
②伙伴算法的具體內(nèi)存分配過(guò)程
舉例說(shuō)明:假設(shè)請(qǐng)求分配4個(gè)頁(yè)面,根據(jù)該算法先到第2(2^2=4)個(gè)組中尋找空閑塊,如果該組沒(méi)有空閑塊就到第3(2^3=8)個(gè)組中尋找,假設(shè)在第3個(gè)組中找到空閑塊,就把其中的4個(gè)頁(yè)面分配出去,剩余的4個(gè)頁(yè)面放到第2個(gè)組中。如果第三個(gè)組還是沒(méi)有空閑塊,就到第4(2^4=16)個(gè)組中尋找,如果在該組中找到空閑塊,把其中的4個(gè)頁(yè)面分配出去,剩余的12個(gè)頁(yè)面被分成兩部分,其中的8個(gè)頁(yè)面放到第3個(gè)組,另外4個(gè)頁(yè)面放到第2個(gè)組...依次類推。
alloc_pages系列函數(shù)最終會(huì)調(diào)用__rmqueue函數(shù)從free_area中取出內(nèi)存頁(yè)面,__rmqueue函數(shù)具體分析如下:
//返回申請(qǐng)到的內(nèi)存空間首頁(yè)的struct page結(jié)構(gòu)指針
static struct page *__rmqueue(struct zone *zone, unsigned int order)
{
struct free_area * area;
unsigned int current_order;
struct page *page;
/*查詢zone中從order到MAX_ORDER-1的各指數(shù)值對(duì)應(yīng)的空閑內(nèi)存區(qū)域*/
for (current_order = order; current_order < MAX_ORDER; ++current_order) {
/*連續(xù)2^current_order頁(yè)空閑內(nèi)存區(qū)域的描述結(jié)構(gòu)指針*/
area = zone->free_area + current_order;
/*如果該空閑內(nèi)存區(qū)域?yàn)榭眨瑒t繼續(xù)查看2^(current_order+1)頁(yè)空閑內(nèi)存區(qū)域*/
if (list_empty(&area->free_list))
continue;
/*得到該空閑內(nèi)存區(qū)域的首頁(yè)struct page結(jié)構(gòu)指針*/
page = list_entry(area->free_list.next, struct page, lru);
/*將page所指的連續(xù)2^current_order頁(yè)的空閑區(qū)域從其所在的鏈表中刪除*/
list_del(&page->lru);
rmv_page_order(page);
area->nr_free--;
__mod_zone_page_state(zone, NR_FREE_PAGES, - (1UL << order));
/*
*如果分配的內(nèi)存比要申請(qǐng)的內(nèi)存大,則需要把大塊剩余的那一部分
*分解并放到對(duì)應(yīng)的隊(duì)列中去
*/
expand(zone, page, order, current_order, area);
return page;
}
return NULL;
}這個(gè)函數(shù)根據(jù)這個(gè)函數(shù)根據(jù)order從最合適的free_area隊(duì)列中分配,如果不成功就從更大的塊中找,找到一個(gè)合適的塊后把它摘下來(lái),最后需要把大塊剩余的那一部分分解并放到對(duì)應(yīng)的隊(duì)列中去,這個(gè)工作是expand函數(shù)完成的。
四、伙伴算法優(yōu)缺點(diǎn)解析
4.1三大核心優(yōu)勢(shì)
(1)能夠完全避免外部碎片的產(chǎn)生。
伙伴算法將內(nèi)存劃分為不同大小的頁(yè)框塊,并通過(guò)特定的分配和釋放規(guī)則,確保內(nèi)存的分配和回收過(guò)程中不會(huì)產(chǎn)生外部碎片。當(dāng)有內(nèi)存分配請(qǐng)求時(shí),算法會(huì)從合適的塊鏈表中查找空閑塊,如果沒(méi)有找到合適的塊,就會(huì)去更大的塊鏈表中查找,并在必要時(shí)進(jìn)行分割和分配。而在釋放內(nèi)存時(shí),算法會(huì)檢查相鄰的內(nèi)存塊是否空閑,并進(jìn)行合并操作,以盡可能地形成更大的連續(xù)內(nèi)存塊。這種方式有效地避免了外部碎片的產(chǎn)生,提高了內(nèi)存的利用率。
(2)可以快速地分配和回收內(nèi)存,因?yàn)樗恍枰M(jìn)行簡(jiǎn)單的位運(yùn)算和鏈表操作。
在內(nèi)存分配過(guò)程中,伙伴算法首先從空閑的內(nèi)存中搜索比申請(qǐng)的內(nèi)存大的最小的內(nèi)存塊。通過(guò)對(duì)塊鏈表的遍歷和簡(jiǎn)單的位運(yùn)算,可以快速確定合適的內(nèi)存塊進(jìn)行分配。如果需要分割更大的內(nèi)存塊,也可以通過(guò)簡(jiǎn)單的計(jì)算和鏈表操作來(lái)實(shí)現(xiàn)。在內(nèi)存回收過(guò)程中,同樣只需要進(jìn)行簡(jiǎn)單的鏈表操作和相鄰內(nèi)存塊的檢查,就可以進(jìn)行合并操作。這種簡(jiǎn)單高效的操作方式使得伙伴算法能夠快速地分配和回收內(nèi)存,提高了系統(tǒng)的性能。
(3)架構(gòu)適配性強(qiáng)
現(xiàn)代計(jì)算機(jī)系統(tǒng)架構(gòu)日益復(fù)雜,多處理器和異構(gòu)計(jì)算場(chǎng)景越來(lái)越常見(jiàn),伙伴算法在這些復(fù)雜架構(gòu)下展現(xiàn)出了良好的適配性,尤其是在 NUMA(非統(tǒng)一內(nèi)存訪問(wèn))架構(gòu)中 。在 NUMA 架構(gòu)下,系統(tǒng)包含多個(gè)處理器節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)都有自己的本地內(nèi)存,節(jié)點(diǎn)間內(nèi)存訪問(wèn)延遲不同。伙伴算法能夠在每個(gè)節(jié)點(diǎn)上獨(dú)立管理內(nèi)存,根據(jù)本地內(nèi)存的使用情況進(jìn)行高效的分配和回收 。當(dāng)一個(gè)節(jié)點(diǎn)的內(nèi)存緊張時(shí),它可以通過(guò)節(jié)點(diǎn)間的通信機(jī)制與其他節(jié)點(diǎn)協(xié)調(diào),合理調(diào)配內(nèi)存資源,確保整個(gè)系統(tǒng)在多處理器環(huán)境下的高效運(yùn)行,為復(fù)雜計(jì)算場(chǎng)景提供了穩(wěn)定的內(nèi)存管理支持。
4.2算法缺點(diǎn)
(1)可能會(huì)造成內(nèi)部碎片,因?yàn)樗偸欠峙?2 的冪次個(gè)物理頁(yè),而實(shí)際需要的內(nèi)存可能小于這個(gè)值。
Linux 內(nèi)核內(nèi)存伙伴算法在分配內(nèi)存時(shí),總是以 2 的冪次方大小進(jìn)行分配內(nèi)存塊。例如,當(dāng)需要一個(gè)并非 2 的冪次方大小的內(nèi)存空間時(shí),伙伴算法會(huì)分配一個(gè)大于所需大小且是 2 的冪次方的內(nèi)存塊,這就會(huì)導(dǎo)致內(nèi)部碎片的產(chǎn)生。參考資料中提到 “伙伴系統(tǒng)是按 2 的冪次方大小進(jìn)行分配內(nèi)存塊,如果所需內(nèi)存大小不是 2 的冪次方,就會(huì)有部分頁(yè)面浪費(fèi),有時(shí)候還很?chē)?yán)重”,比如需要一個(gè) 257K 的內(nèi)存空間,按照其算法,會(huì)分配一個(gè) 512K 的內(nèi)存空間,那么就會(huì)有 255K 的內(nèi)存空間浪費(fèi)。
(2)可能會(huì)造成外部碎片,因?yàn)樗偸呛喜⑾噜彽目臻e內(nèi)存塊,而實(shí)際需要的連續(xù)內(nèi)存可能大于這個(gè)值。
伙伴算法在釋放內(nèi)存時(shí)會(huì)進(jìn)行合并操作,但合并的要求較為嚴(yán)格,只有滿足伙伴關(guān)系的塊才能合并。這就可能導(dǎo)致即使系統(tǒng)中有一些空閑的內(nèi)存塊,但由于它們不滿足伙伴關(guān)系,無(wú)法合并成更大的連續(xù)內(nèi)存塊,從而在實(shí)際需要較大連續(xù)內(nèi)存時(shí)無(wú)法滿足需求,產(chǎn)生外部碎片。一個(gè)系統(tǒng)中,對(duì)內(nèi)存塊的分配大小是隨機(jī)的,一片內(nèi)存中僅一個(gè)小的內(nèi)存塊沒(méi)有釋放,旁邊兩個(gè)大的就不能合并。
(3)拆分和合并涉及到較多的鏈表和位圖操作,開(kāi)銷(xiāo)還是比較大的。
在伙伴算法的分配和釋放過(guò)程中,需要進(jìn)行大量的鏈表和位圖操作。當(dāng)進(jìn)行內(nèi)存分配時(shí),如果沒(méi)有找到合適大小的空閑塊,就需要從更大的塊鏈表中查找,并在必要時(shí)進(jìn)行分割和分配,這涉及到對(duì)鏈表的遍歷和修改以及位圖的更新。在內(nèi)存釋放時(shí),要檢查相鄰的內(nèi)存塊是否空閑,并進(jìn)行合并操作,同樣需要對(duì)鏈表和位圖進(jìn)行操作。這些操作雖然能夠有效地管理內(nèi)存,但也帶來(lái)了較大的開(kāi)銷(xiāo)。
五、實(shí)戰(zhàn)視角:如何觀察與優(yōu)化伙伴算法?
5.1系統(tǒng)狀態(tài)查看
(1)/proc/buddyinfo:在 Linux 系統(tǒng)中,/proc/buddyinfo 是一個(gè)非常有用的文件,它為我們提供了關(guān)于伙伴算法中各內(nèi)存區(qū)域(Zone)不同 order 空閑內(nèi)存塊數(shù)量的詳細(xì)信息。通過(guò)執(zhí)行 cat /proc/buddyinfo 命令,我們可以獲取到如下格式的數(shù)據(jù):
Node 0, zone DMA 399 260 123 86 34 31 16 14 7 9 606
Node 0, zone Normal 1491 1005 233 23 53 28 12 25 9這里,第一列表示節(jié)點(diǎn)編號(hào)(Node 0 表示第一個(gè)節(jié)點(diǎn),在單節(jié)點(diǎn)系統(tǒng)中通常只有一個(gè)節(jié)點(diǎn)),第二列是內(nèi)存區(qū)域類型,如 DMA 用于直接內(nèi)存訪問(wèn)設(shè)備,Normal 用于普通內(nèi)存分配,HighMem 用于高端內(nèi)存 。后面的列則依次對(duì)應(yīng)不同 order 的空閑內(nèi)存塊數(shù)量,order 從 0 開(kāi)始,每一列代表的內(nèi)存塊大小是 \(2^{\text{order}}\) 頁(yè) 。
通過(guò)分析這些數(shù)據(jù),我們可以清晰地判斷內(nèi)存碎片化程度 。如果高階(較大 order )的空閑塊數(shù)量較少,而低階空閑塊較多,說(shuō)明內(nèi)存碎片化嚴(yán)重,系統(tǒng)在分配大塊連續(xù)內(nèi)存時(shí)可能會(huì)遇到困難。比如,在一個(gè)頻繁進(jìn)行小內(nèi)存塊分配和釋放的數(shù)據(jù)庫(kù)服務(wù)器中,就可能出現(xiàn)這種情況,導(dǎo)致后續(xù)大內(nèi)存塊分配失敗,影響數(shù)據(jù)庫(kù)性能。
(2)vmstat/sar:vmstat 和 sar 是系統(tǒng)監(jiān)控的常用工具,在觀察伙伴算法性能時(shí)也發(fā)揮著重要作用。vmstat 可以實(shí)時(shí)展示系統(tǒng)的虛擬內(nèi)存狀態(tài)、進(jìn)程活動(dòng)和 CPU 使用情況 。我們可以通過(guò) vmstat 1 10 命令(每 1 秒輸出一次,共輸出 10 次)查看系統(tǒng)狀態(tài),其中 slabs_unreclaimable 字段表示不可回收的 slab 內(nèi)存,它間接反映了內(nèi)存分配失敗的情況 。如果這個(gè)值持續(xù)增長(zhǎng),或者在內(nèi)存分配操作時(shí)出現(xiàn)頻繁的分配延遲,就可能意味著內(nèi)存分配遇到問(wèn)題,需要進(jìn)一步分析 。
sar 工具則提供了更全面的系統(tǒng)性能統(tǒng)計(jì),包括內(nèi)存、CPU、I/O 等多個(gè)方面 。通過(guò) sar -r 命令,我們可以查看內(nèi)存相關(guān)的統(tǒng)計(jì)信息,如內(nèi)存分配失敗率等 。當(dāng)發(fā)現(xiàn)內(nèi)存分配失敗率較高時(shí),我們可以考慮調(diào)整內(nèi)核參數(shù) zone_reclaim_ratio 。這個(gè)參數(shù)控制著內(nèi)存回收的策略,它表示當(dāng)內(nèi)存不足時(shí),從本地 Zone 回收內(nèi)存的比例 。如果設(shè)置過(guò)低,可能導(dǎo)致內(nèi)存分配失敗;設(shè)置過(guò)高,則可能影響系統(tǒng)整體性能 。
在一個(gè)高并發(fā)的 Web 服務(wù)器環(huán)境中,如果發(fā)現(xiàn) vmstat 顯示的 slabs_unreclaimable 持續(xù)上升,且 sar -r 統(tǒng)計(jì)的內(nèi)存分配失敗率增加,就可以嘗試適當(dāng)提高 zone_reclaim_ratio 參數(shù)值,觀察系統(tǒng)性能是否改善。
5.2內(nèi)核參數(shù)調(diào)優(yōu)
(1)vm.max_order:vm.max_order 是一個(gè)關(guān)鍵的內(nèi)核參數(shù),它控制著伙伴算法中最大分配塊的大小 。默認(rèn)情況下,其值為 11,對(duì)應(yīng)的最大分配塊為 1024 頁(yè),即 4MB 。在一些高內(nèi)存場(chǎng)景,如大數(shù)據(jù)處理集群或高性能計(jì)算環(huán)境中,可能需要分配更大的內(nèi)存塊,這時(shí)可以適當(dāng)調(diào)大 vm.max_order 的值 。但需要注意的是,調(diào)大這個(gè)參數(shù)會(huì)增加內(nèi)存元數(shù)據(jù)的消耗 。因?yàn)殡S著最大分配塊的增大,用于管理內(nèi)存塊的數(shù)據(jù)結(jié)構(gòu)也會(huì)相應(yīng)變大,從而占用更多內(nèi)存資源 。
在調(diào)整這個(gè)參數(shù)之前,需要充分評(píng)估系統(tǒng)的內(nèi)存使用情況和應(yīng)用需求,避免因過(guò)度調(diào)大導(dǎo)致系統(tǒng)內(nèi)存緊張 。比如,在一個(gè)運(yùn)行深度學(xué)習(xí)模型訓(xùn)練任務(wù)的服務(wù)器上,由于模型參數(shù)和中間計(jì)算結(jié)果需要大量連續(xù)內(nèi)存,可能需要將 vm.max_order 從默認(rèn)的 11 適當(dāng)調(diào)高到 12 或 13,以滿足大內(nèi)存塊分配需求,但同時(shí)要密切關(guān)注系統(tǒng)內(nèi)存使用情況,防止內(nèi)存耗盡。
(2)遷移類型策略:通過(guò)調(diào)整遷移類型策略,可以有效減少內(nèi)存碎片,提高內(nèi)存利用率 。我們可以通過(guò) echo 命令修改 /sys/devices/virtual/memory/zone*/pagesize 文件,來(lái)調(diào)整內(nèi)存頁(yè)的遷移類型 。優(yōu)先使用可移動(dòng)頁(yè)遷移是一個(gè)重要原則,因?yàn)榭梢苿?dòng)頁(yè)主要用于用戶空間內(nèi)存,其內(nèi)容可以自由搬遷 。在內(nèi)存回收和分配過(guò)程中,盡量將可移動(dòng)頁(yè)遷移到合適的位置,避免不可移動(dòng)頁(yè)碎片的產(chǎn)生 。例如,在一個(gè)多用戶的云計(jì)算環(huán)境中,大量用戶進(jìn)程頻繁進(jìn)行內(nèi)存分配和釋放,通過(guò)優(yōu)先遷移可移動(dòng)頁(yè),能夠確保內(nèi)存始終保持較好的連續(xù)性,為后續(xù)的內(nèi)存分配提供更有利的條件,提升系統(tǒng)整體性能和穩(wěn)定性 。
六、應(yīng)用場(chǎng)景
6.1服務(wù)器高并發(fā):伙伴算法是 Kubernetes 穩(wěn)定運(yùn)行的 “幕后英雄”
在云計(jì)算和容器編排領(lǐng)域,Kubernetes已成為事實(shí)上的標(biāo)準(zhǔn)。在Kubernetes集群中,每個(gè)節(jié)點(diǎn)運(yùn)行著多個(gè)容器,這些容器頻繁地申請(qǐng)和釋放內(nèi)存 。伙伴算法在其中扮演著至關(guān)重要的角色,確保內(nèi)存的高效分配和回收,維持整個(gè)集群的穩(wěn)定性。
當(dāng)大量容器同時(shí)請(qǐng)求內(nèi)存時(shí),伙伴算法通過(guò)快速的內(nèi)存分配機(jī)制,能在短時(shí)間內(nèi)為各個(gè)容器提供所需內(nèi)存 。在一個(gè)繁忙的電商網(wǎng)站后端,Kubernetes 集群需要同時(shí)處理成千上萬(wàn)的用戶請(qǐng)求,每個(gè)請(qǐng)求可能會(huì)觸發(fā)多個(gè)容器的內(nèi)存分配操作 。伙伴算法的高效性使得系統(tǒng)能夠快速響應(yīng)這些請(qǐng)求,避免因內(nèi)存分配延遲導(dǎo)致的服務(wù)卡頓。
為了進(jìn)一步優(yōu)化內(nèi)存使用,Kubernetes 結(jié)合 Cgroups(Control Groups)技術(shù),對(duì)容器的內(nèi)存使用進(jìn)行精細(xì)限制 。Cgroups 可以為每個(gè)容器設(shè)置內(nèi)存請(qǐng)求(request)和內(nèi)存限制(limit) 。當(dāng)一個(gè)容器的內(nèi)存使用達(dá)到其請(qǐng)求量時(shí),系統(tǒng)會(huì)優(yōu)先保障其內(nèi)存需求;當(dāng)超過(guò)限制時(shí),容器可能會(huì)被 OOM(Out-Of-Memory)殺手終止 。伙伴算法與 Cgroups 協(xié)同工作,確保在內(nèi)存緊張的情況下,系統(tǒng)能合理分配內(nèi)存,避免因某個(gè)容器過(guò)度占用內(nèi)存而導(dǎo)致其他容器 “餓死”,有效防止了 “內(nèi)存顛簸” 現(xiàn)象,保障了高并發(fā)場(chǎng)景下系統(tǒng)的穩(wěn)定性。
#include <iostream>
#include <vector>
#include <unordered_map>
#include <algorithm>
#include <string>
#include <cmath>
#include <memory>
// 內(nèi)存塊狀態(tài)枚舉
enum class MemoryBlockStatus {
FREE,
ALLOCATED
};
// 內(nèi)存塊類
class MemoryBlock {
private:
size_t size_; // 內(nèi)存塊大小,為2的冪
size_t address_; // 內(nèi)存塊起始地址
MemoryBlockStatus status_; // 內(nèi)存塊狀態(tài)
std::string container_id_; // 分配給哪個(gè)容器
std::unique_ptr<MemoryBlock> left_child_; // 左子塊
std::unique_ptr<MemoryBlock> right_child_; // 右子塊
public:
// 構(gòu)造函數(shù)
MemoryBlock(size_t size, size_t address, MemoryBlockStatus status = MemoryBlockStatus::FREE)
: size_(size), address_(address), status_(status), container_id_("") {}
// 檢查是否為空閑塊
bool is_free() const {
return status_ == MemoryBlockStatus::FREE;
}
// 分裂內(nèi)存塊為兩個(gè)相等的子塊
bool split() {
if (size_ <= 1) return false; // 不能再分裂
size_t half_size = size_ / 2;
left_child_ = std::make_unique<MemoryBlock>(half_size, address_);
right_child_ = std::make_unique<MemoryBlock>(half_size, address_ + half_size);
return true;
}
// 獲取內(nèi)存塊信息字符串
std::string to_string() const {
std::string status_str;
if (status_ == MemoryBlockStatus::FREE) {
status_str = "FREE";
} else {
status_str = "ALLOCATED to " + container_id_;
}
return "Block(size=" + std::to_string(size_) + ", address=" + std::to_string(address_) + ", " + status_str + ")";
}
// getter和setter方法
size_t get_size() const { return size_; }
size_t get_address() const { return address_; }
MemoryBlockStatus get_status() const { return status_; }
void set_status(MemoryBlockStatus status) { status_ = status; }
const std::string& get_container_id() const { return container_id_; }
void set_container_id(const std::string& id) { container_id_ = id; }
MemoryBlock* get_left_child() const { return left_child_.get(); }
MemoryBlock* get_right_child() const { return right_child_.get(); }
void clear_children() {
left_child_.reset();
right_child_.reset();
}
};
// 伙伴算法內(nèi)存分配器
class BuddyAllocator {
private:
size_t total_size_;
std::unique_ptr<MemoryBlock> root_;
// 查找父塊
MemoryBlock* find_parent(MemoryBlock* child, MemoryBlock* current) {
if (!current || !current->get_left_child()) return nullptr;
if (current->get_left_child() == child || current->get_right_child() == child) {
return current;
}
MemoryBlock* parent = find_parent(child, current->get_left_child());
if (parent) return parent;
return find_parent(child, current->get_right_child());
}
// 合并內(nèi)存塊
void merge(MemoryBlock* block) {
if (!block) return;
MemoryBlock* parent = find_parent(block, root_.get());
if (!parent) return;
MemoryBlock* sibling = (parent->get_left_child() == block) ?
parent->get_right_child() : parent->get_left_child();
// 如果兄弟塊也是空閑的且沒(méi)有子塊,則合并
if (sibling && sibling->is_free() &&
!sibling->get_left_child() && !sibling->get_right_child()) {
parent->set_status(MemoryBlockStatus::FREE);
parent->set_container_id("");
parent->clear_children();
merge(parent); // 遞歸向上合并
}
}
// 遞歸計(jì)算已分配內(nèi)存
size_t count_allocated(MemoryBlock* block) {
if (!block) return 0;
if (block->get_status() == MemoryBlockStatus::ALLOCATED) {
return block->get_size();
}
return count_allocated(block->get_left_child()) + count_allocated(block->get_right_child());
}
// 遞歸打印內(nèi)存布局
void print_memory_layout(MemoryBlock* block, int indent) {
if (!block) return;
for (int i = 0; i < indent; ++i) {
std::cout << " ";
}
std::cout << block->to_string() << std::endl;
print_memory_layout(block->get_left_child(), indent + 1);
print_memory_layout(block->get_right_child(), indent + 1);
}
public:
// 構(gòu)造函數(shù)
BuddyAllocator(size_t total_memory_size) {
// 確保總內(nèi)存大小是2的冪
total_size_ = 1;
while (total_size_ < total_memory_size) {
total_size_ <<= 1;
}
root_ = std::make_unique<MemoryBlock>(total_size_, 0);
}
// 查找適合大小的空閑塊
MemoryBlock* find_free_block(size_t size, MemoryBlock* block = nullptr) {
if (!block) block = root_.get();
// 如果當(dāng)前塊足夠大且空閑,且沒(méi)有子塊,返回它
if (block->is_free() && block->get_size() >= size &&
!block->get_left_child() && !block->get_right_child()) {
return block;
}
// 如果有子塊,遞歸查找
if (block->get_left_child()) {
MemoryBlock* left_result = find_free_block(size, block->get_left_child());
if (left_result) return left_result;
MemoryBlock* right_result = find_free_block(size, block->get_right_child());
if (right_result) return right_result;
}
return nullptr;
}
// 分配內(nèi)存
MemoryBlock* allocate(size_t size, const std::string& container_id) {
// 計(jì)算最接近的2的冪
size_t alloc_size = 1;
while (alloc_size < size) {
alloc_size <<= 1;
}
// 查找合適的塊
MemoryBlock* block = find_free_block(alloc_size);
if (!block) return nullptr;
// 如果塊太大,分裂它
while (block->get_size() > alloc_size) {
block->split();
block = block->get_left_child(); // 使用左子塊
}
// 標(biāo)記為已分配
block->set_status(MemoryBlockStatus::ALLOCATED);
block->set_container_id(container_id);
return block;
}
// 釋放內(nèi)存塊
void free(MemoryBlock* block) {
if (!block || block->is_free()) return;
block->set_status(MemoryBlockStatus::FREE);
block->set_container_id("");
merge(block);
}
// 獲取已分配內(nèi)存總量
size_t get_allocated_memory() {
return count_allocated(root_.get());
}
// 打印內(nèi)存布局
void print_memory_layout() {
print_memory_layout(root_.get(), 0);
}
size_t get_total_size() const { return total_size_; }
};
// 容器類,表示Kubernetes中的容器
class Container {
private:
std::string container_id_;
size_t mem_request_; // 內(nèi)存請(qǐng)求
size_t mem_limit_; // 內(nèi)存限制
size_t allocated_memory_; // 當(dāng)前已分配內(nèi)存
std::vector<MemoryBlock*> blocks_; // 分配的內(nèi)存塊列表
public:
// 構(gòu)造函數(shù)
Container(const std::string& id, size_t request, size_t limit)
: container_id_(id), mem_request_(request), mem_limit_(limit), allocated_memory_(0) {}
// 檢查是否可以分配指定大小的內(nèi)存
bool can_allocate(size_t size) const {
return allocated_memory_ + size <= mem_limit_;
}
// 添加一個(gè)內(nèi)存塊
void add_memory_block(MemoryBlock* block) {
if (block) {
blocks_.push_back(block);
allocated_memory_ += block->get_size();
}
}
// 移除一個(gè)內(nèi)存塊
void remove_memory_block(MemoryBlock* block) {
auto it = std::find(blocks_.begin(), blocks_.end(), block);
if (it != blocks_.end()) {
allocated_memory_ -= (*it)->get_size();
blocks_.erase(it);
}
}
// 獲取容器信息字符串
std::string to_string() const {
return "Container(id=" + container_id_ + ", request=" + std::to_string(mem_request_) +
", limit=" + std::to_string(mem_limit_) + ", allocated=" + std::to_string(allocated_memory_) + ")";
}
// getter方法
const std::string& get_id() const { return container_id_; }
size_t get_mem_request() const { return mem_request_; }
size_t get_mem_limit() const { return mem_limit_; }
size_t get_allocated_memory() const { return allocated_memory_; }
const std::vector<MemoryBlock*>& get_blocks() const { return blocks_; }
};
// Kubernetes內(nèi)存管理器,結(jié)合伙伴算法和Cgroups
class K8sMemoryManager {
private:
std::unique_ptr<BuddyAllocator> buddy_allocator_;
std::unordered_map<std::string, std::unique_ptr<Container>> containers_;
double oom_killer_threshold_; // OOM殺手觸發(fā)閾值
// 嘗試為目標(biāo)容器釋放所需內(nèi)存
bool free_memory_for_container(const std::string& target_container_id, size_t required_size) {
size_t total_used = buddy_allocator_->get_allocated_memory();
size_t total_memory = buddy_allocator_->get_total_size();
// 檢查是否有足夠的空閑內(nèi)存
if (total_memory - total_used >= required_size) {
return true;
}
// 尋找可以釋放內(nèi)存的容器,優(yōu)先釋放超過(guò)其請(qǐng)求的內(nèi)存
std::vector<std::pair<size_t, std::string>> candidates;
for (const auto& [id, container] : containers_) {
if (id == target_container_id) continue;
size_t excess = container->get_allocated_memory() - container->get_mem_request();
if (excess > 0) {
candidates.emplace_back(excess, id);
}
}
// 按可釋放的內(nèi)存量排序
std::sort(candidates.begin(), candidates.end(),
[](const auto& a, const auto& b) { return a.first > b.first; });
// 嘗試釋放內(nèi)存
size_t freed = 0;
for (const auto& [excess, id] : candidates) {
if (freed >= required_size) break;
size_t to_free = std::min(excess, required_size - freed);
freed += free_memory(id, to_free);
}
return freed >= required_size;
}
// 檢查是否需要觸發(fā)OOM killer
void check_oom_conditions() {
size_t total_used = buddy_allocator_->get_allocated_memory();
size_t total_memory = buddy_allocator_->get_total_size();
double usage_ratio = static_cast<double>(total_used) / total_memory;
if (usage_ratio < oom_killer_threshold_) return;
std::cout << "Memory usage high (" << usage_ratio * 100 << "%). Triggering OOM checks..." << std::endl;
// 找出超出內(nèi)存限制的容器
std::vector<std::pair<size_t, std::string>> over_limit;
for (const auto& [id, container] : containers_) {
if (container->get_allocated_memory() > container->get_mem_limit()) {
size_t over = container->get_allocated_memory() - container->get_mem_limit();
over_limit.emplace_back(over, id);
}
}
// 按超出量排序,超出最多的優(yōu)先被終止
std::sort(over_limit.begin(), over_limit.end(),
[](const auto& a, const auto& b) { return a.first > b.first; });
// 終止超出限制的容器
for (const auto& [_, id] : over_limit) {
std::cout << "OOM killer terminating container " << id << std::endl;
free_memory(id);
containers_.erase(id);
// 檢查內(nèi)存使用率是否恢復(fù)正常
total_used = buddy_allocator_->get_allocated_memory();
usage_ratio = static_cast<double>(total_used) / total_memory;
if (usage_ratio < oom_killer_threshold_) break;
}
}
public:
// 構(gòu)造函數(shù)
K8sMemoryManager(size_t total_memory)
: buddy_allocator_(std::make_unique<BuddyAllocator>(total_memory)),
oom_killer_threshold_(0.9) {}
// 創(chuàng)建容器并設(shè)置內(nèi)存限制
void create_container(const std::string& container_id, size_t mem_request, size_t mem_limit) {
if (containers_.find(container_id) != containers_.end()) {
throw std::invalid_argument("Container " + container_id + " already exists");
}
if (mem_request > mem_limit) {
throw std::invalid_argument("Memory request cannot exceed memory limit");
}
containers_[container_id] = std::make_unique<Container>(container_id, mem_request, mem_limit);
}
// 為容器分配內(nèi)存
bool allocate_memory(const std::string& container_id, size_t size) {
auto it = containers_.find(container_id);
if (it == containers_.end()) {
throw std::invalid_argument("Container " + container_id + " does not exist");
}
Container* container = it->second.get();
// 檢查是否超過(guò)容器內(nèi)存限制
if (!container->can_allocate(size)) {
std::cout << "Container " << container_id << " cannot allocate " << size
<< " bytes - exceeds memory limit" << std::endl;
return false;
}
// 使用伙伴算法分配內(nèi)存
MemoryBlock* block = buddy_allocator_->allocate(size, container_id);
if (!block) {
// 嘗試釋放一些內(nèi)存
std::cout << "Memory allocation failed for " << container_id << ". Trying to free memory..." << std::endl;
if (!free_memory_for_container(container_id, size)) {
std::cout << "Failed to allocate " << size << " bytes for container " << container_id << std::endl;
return false;
}
// 再次嘗試分配
block = buddy_allocator_->allocate(size, container_id);
if (!block) {
std::cout << "Failed to allocate " << size << " bytes for container " << container_id << std::endl;
return false;
}
}
container->add_memory_block(block);
std::cout << "Allocated " << block->get_size() << " bytes to container " << container_id << std::endl;
// 檢查是否需要觸發(fā)OOM killer
check_oom_conditions();
return true;
}
// 釋放容器的內(nèi)存
size_t free_memory(const std::string& container_id, size_t size = 0) {
auto it = containers_.find(container_id);
if (it == containers_.end()) {
throw std::invalid_argument("Container " + container_id + " does not exist");
}
Container* container = it->second.get();
const auto& blocks = container->get_blocks();
if (blocks.empty()) {
std::cout << "No allocated memory for container " << container_id << std::endl;
return 0;
}
// 如果指定了大小,嘗試釋放相應(yīng)大小的內(nèi)存
if (size > 0) {
size_t freed = 0;
std::vector<MemoryBlock*> blocks_to_free;
for (MemoryBlock* block : blocks) {
if (freed < size) {
blocks_to_free.push_back(block);
freed += block->get_size();
} else {
break;
}
}
for (MemoryBlock* block : blocks_to_free) {
container->remove_memory_block(block);
buddy_allocator_->free(block);
}
std::cout << "Freed " << freed << " bytes from container " << container_id << std::endl;
return freed;
} else {
// 釋放所有內(nèi)存
size_t total_freed = container->get_allocated_memory();
for (MemoryBlock* block : blocks) {
buddy_allocator_->free(block);
}
// 清除容器的內(nèi)存塊列表
// 注意:C++中不能直接修改容器的私有成員,這里通過(guò)重新創(chuàng)建容器來(lái)實(shí)現(xiàn)
containers_[container_id] = std::make_unique<Container>(
container_id, container->get_mem_request(), container->get_mem_limit()
);
std::cout << "Freed all " << total_freed << " bytes from container " << container_id << std::endl;
return total_freed;
}
}
// 打印系統(tǒng)狀態(tài)
void print_status() {
size_t total_used = buddy_allocator_->get_allocated_memory();
size_t total_memory = buddy_allocator_->get_total_size();
std::cout << "\n=== System Memory Status ===" << std::endl;
std::cout << "Total memory: " << total_memory << " bytes" << std::endl;
std::cout << "Used memory: " << total_used << " bytes ("
<< (static_cast<double>(total_used) / total_memory) * 100 << "%)" << std::endl;
std::cout << "\n=== Containers ===" << std::endl;
for (const auto& [id, container] : containers_) {
std::cout << container->to_string() << std::endl;
}
std::cout << "\n=== Memory Layout ===" << std::endl;
buddy_allocator_->print_memory_layout();
std::cout << "===========================\n" << std::endl;
}
};
// 主函數(shù),演示內(nèi)存管理功能
int main() {
// 創(chuàng)建一個(gè)總內(nèi)存為1024字節(jié)的Kubernetes內(nèi)存管理器
K8sMemoryManager k8s_manager(1024);
// 創(chuàng)建幾個(gè)容器,設(shè)置不同的內(nèi)存請(qǐng)求和限制
try {
k8s_manager.create_container("app-1", 200, 300);
k8s_manager.create_container("app-2", 150, 250);
k8s_manager.create_container("app-3", 100, 200);
// 為容器分配內(nèi)存
k8s_manager.allocate_memory("app-1", 150);
k8s_manager.allocate_memory("app-2", 100);
k8s_manager.allocate_memory("app-3", 80);
// 打印當(dāng)前狀態(tài)
k8s_manager.print_status();
// 嘗試分配更多內(nèi)存,導(dǎo)致內(nèi)存緊張
k8s_manager.allocate_memory("app-1", 100);
k8s_manager.allocate_memory("app-2", 120);
// 打印狀態(tài)
k8s_manager.print_status();
// 再分配更多內(nèi)存,觸發(fā)OOM killer
k8s_manager.allocate_memory("app-1", 100);
// 打印最終狀態(tài)
k8s_manager.print_status();
} catch (const std::exception& e) {
std::cerr << "Error: " << e.what() << std::endl;
return 1;
}
return 0;
}在 Linux 環(huán)境下,可以使用 g++ 編譯此程序:
g++ -std=c++17 k8s_memory_manager.cpp -o k8s_memory_manager程序運(yùn)行后將模擬 Kubernetes 集群中的內(nèi)存管理過(guò)程,展示內(nèi)存分配、回收以及 OOM killer 的工作機(jī)制,輸出與 Python 版本類似的系統(tǒng)狀態(tài)信息。
6.2嵌入式設(shè)備:在 “螺螄殼里做道場(chǎng)” 的內(nèi)存管理大師
在嵌入式設(shè)備領(lǐng)域,尤其是物聯(lián)網(wǎng)(IoT)設(shè)備,內(nèi)存資源往往十分有限 。這些設(shè)備通常運(yùn)行著實(shí)時(shí)操作系統(tǒng)(RTOS),對(duì)內(nèi)存的利用率和碎片化控制有著極高的要求,伙伴算法在這樣的環(huán)境中發(fā)揮著關(guān)鍵作用。
以智能手環(huán)為例,它的內(nèi)存容量可能只有幾 MB,卻需要同時(shí)運(yùn)行傳感器數(shù)據(jù)采集、藍(lán)牙通信、顯示驅(qū)動(dòng)等多個(gè)任務(wù) 。伙伴算法通過(guò)將內(nèi)存劃分為不同大小的塊,并以 2 的冪次進(jìn)行分配和回收,最大限度地減少了內(nèi)存碎片 。當(dāng)傳感器任務(wù)需要讀取數(shù)據(jù)并進(jìn)行臨時(shí)存儲(chǔ)時(shí),伙伴算法能迅速分配合適大小的內(nèi)存塊;當(dāng)數(shù)據(jù)處理完成后,又能及時(shí)回收內(nèi)存,確保內(nèi)存始終保持較高的利用率 。
在電池供電的嵌入式設(shè)備中,內(nèi)存管理的效率直接影響設(shè)備的續(xù)航能力 。由于內(nèi)存分配和回收過(guò)程需要消耗一定的能量,伙伴算法的高效性使得設(shè)備在頻繁的內(nèi)存操作中消耗更少的能量 。通過(guò)減少不必要的內(nèi)存分配和回收次數(shù),降低了系統(tǒng)的功耗,從而延長(zhǎng)了設(shè)備的續(xù)航時(shí)間,為用戶提供更持久的使用體驗(yàn) 。
#include <cstddef>
#include <cstdint>
#include <cstring>
#include <algorithm>
#include <new>
#include <stdexcept>
// 嵌入式設(shè)備通常內(nèi)存有限,定義最大內(nèi)存塊大小(可根據(jù)實(shí)際設(shè)備調(diào)整)
const size_t MAX_MEMORY_SIZE = 65536; // 64KB,適合智能手環(huán)等設(shè)備
const size_t MIN_BLOCK_SIZE = 16; // 最小塊大小,根據(jù)系統(tǒng)需求調(diào)整
// 內(nèi)存塊狀態(tài)
enum class BlockStatus {
FREE,
ALLOCATED
};
// 內(nèi)存塊元數(shù)據(jù)結(jié)構(gòu)(盡量緊湊以減少內(nèi)存開(kāi)銷(xiāo))
struct MemoryBlock {
size_t size; // 塊大小(總是2的冪)
BlockStatus status; // 塊狀態(tài)
MemoryBlock* prev; // 前向指針,用于鏈表管理
MemoryBlock* next; // 后向指針,用于鏈表管理
bool is_split; // 標(biāo)記塊是否已分裂
MemoryBlock* left_child; // 左子塊
MemoryBlock* right_child; // 右子塊
// 內(nèi)存塊頭部大小,用于計(jì)算實(shí)際可用內(nèi)存
static constexpr size_t header_size() {
return sizeof(MemoryBlock);
}
};
// 嵌入式環(huán)境伙伴算法內(nèi)存管理器
class BuddyAllocator {
private:
uint8_t* memory_pool; // 內(nèi)存池起始地址
size_t total_size; // 總內(nèi)存大小
MemoryBlock* free_lists; // 不同大小的空閑塊鏈表數(shù)組
size_t max_order; // 最大階數(shù)(log2(total_size))
// 計(jì)算階數(shù)(log2)
size_t get_order(size_t size) const {
if (size == 0) return 0;
return 31 - __builtin_clz(size);
}
// 找到第一個(gè)大于等于size的2的冪
size_t round_up_to_power_of_two(size_t size) const {
if (size <= MIN_BLOCK_SIZE) return MIN_BLOCK_SIZE;
return 1 << (get_order(size - 1) + 1);
}
// 從鏈表中移除塊
void remove_from_list(MemoryBlock* block, size_t order) {
if (block->prev) {
block->prev->next = block->next;
} else {
free_lists[order] = block->next;
}
if (block->next) {
block->next->prev = block->prev;
}
}
// 添加塊到鏈表
void add_to_list(MemoryBlock* block, size_t order) {
block->prev = nullptr;
block->next = free_lists[order];
if (free_lists[order]) {
free_lists[order]->prev = block;
}
free_lists[order] = block;
}
// 分裂塊
MemoryBlock* split_block(MemoryBlock* block, size_t target_order) {
size_t current_order = get_order(block->size);
// 從當(dāng)前鏈表移除
remove_from_list(block, current_order);
// 分裂直到達(dá)到目標(biāo)階數(shù)
while (current_order > target_order) {
current_order--;
size_t half_size = 1 << current_order;
// 計(jì)算右子塊地址
uint8_t* right_block_ptr = reinterpret_cast<uint8_t*>(block) + half_size;
MemoryBlock* right_block = new (right_block_ptr) MemoryBlock;
right_block->size = half_size;
right_block->status = BlockStatus::FREE;
right_block->is_split = false;
right_block->left_child = nullptr;
right_block->right_child = nullptr;
// 更新當(dāng)前塊作為左子塊
block->size = half_size;
block->is_split = true;
block->right_child = right_block;
// 將右子塊添加到對(duì)應(yīng)階數(shù)的空閑鏈表
add_to_list(right_block, current_order);
// 繼續(xù)分裂左子塊
block = block;
}
// 將最終的左子塊添加到目標(biāo)階數(shù)鏈表
add_to_list(block, target_order);
return block;
}
// 合并塊
void merge_blocks(MemoryBlock* block) {
if (block->status != BlockStatus::FREE || block->size == total_size) {
return; // 已分配塊或根塊不能合并
}
size_t order = get_order(block->size);
size_t buddy_offset = block->size;
// 計(jì)算伙伴塊地址
uint8_t* block_ptr = reinterpret_cast<uint8_t*>(block);
uint8_t* pool_start = memory_pool;
size_t block_index = (block_ptr - pool_start) / block->size;
MemoryBlock* buddy;
if (block_index % 2 == 0) {
// 當(dāng)前塊是左伙伴
buddy = reinterpret_cast<MemoryBlock*>(block_ptr + buddy_offset);
} else {
// 當(dāng)前塊是右伙伴
buddy = reinterpret_cast<MemoryBlock*>(block_ptr - buddy_offset);
}
// 檢查伙伴是否可以合并
if (buddy->status == BlockStatus::FREE &&
buddy->size == block->size &&
!buddy->is_split) {
// 從鏈表中移除兩個(gè)塊
remove_from_list(block, order);
remove_from_list(buddy, order);
// 確定父塊(左塊)
MemoryBlock* parent = (block_index % 2 == 0) ? block : buddy;
parent->size *= 2;
parent->is_split = false;
parent->left_child = nullptr;
parent->right_child = nullptr;
// 添加到更高階的鏈表
add_to_list(parent, order + 1);
// 遞歸合并
merge_blocks(parent);
}
}
public:
// 構(gòu)造函數(shù),使用指定內(nèi)存池
BuddyAllocator(void* pool, size_t size) {
// 確保內(nèi)存大小是2的冪且不超過(guò)最大值
total_size = round_up_to_power_of_two(size);
if (total_size > MAX_MEMORY_SIZE) {
total_size = MAX_MEMORY_SIZE;
}
// 如果未提供內(nèi)存池,則在堆上分配
if (pool == nullptr) {
memory_pool = new uint8_t[total_size];
} else {
memory_pool = static_cast<uint8_t*>(pool);
}
// 計(jì)算最大階數(shù)
max_order = get_order(total_size);
// 初始化空閑鏈表數(shù)組
free_lists = new MemoryBlock*[max_order + 1]();
// 創(chuàng)建初始內(nèi)存塊
MemoryBlock* initial_block = new (memory_pool) MemoryBlock;
initial_block->size = total_size;
initial_block->status = BlockStatus::FREE;
initial_block->is_split = false;
initial_block->left_child = nullptr;
initial_block->right_child = nullptr;
// 將初始?jí)K添加到最大階數(shù)的空閑鏈表
add_to_list(initial_block, max_order);
}
// 析構(gòu)函數(shù)
~BuddyAllocator() {
delete[] free_lists;
// 只釋放自己分配的內(nèi)存池
// 如果是外部提供的內(nèi)存池,則由用戶負(fù)責(zé)釋放
}
// 分配內(nèi)存
void* allocate(size_t size) {
if (size == 0) return nullptr;
// 加上塊頭部大小
size_t total_needed = size + MemoryBlock::header_size();
if (total_needed > total_size) {
return nullptr; // 超出總內(nèi)存
}
// 計(jì)算所需塊大小和階數(shù)
size_t block_size = round_up_to_power_of_two(total_needed);
size_t target_order = get_order(block_size);
// 尋找合適的塊
size_t order;
for (order = target_order; order <= max_order; ++order) {
if (free_lists[order] != nullptr) {
break;
}
}
if (order > max_order) {
return nullptr; // 沒(méi)有足夠大的塊
}
// 如果找到的塊大于需要的塊,進(jìn)行分裂
MemoryBlock* block = free_lists[order];
if (order > target_order) {
block = split_block(block, target_order);
}
// 從空閑鏈表移除并標(biāo)記為已分配
remove_from_list(block, target_order);
block->status = BlockStatus::ALLOCATED;
// 返回可用內(nèi)存地址(跳過(guò)塊頭部)
return reinterpret_cast<uint8_t*>(block) + MemoryBlock::header_size();
}
// 釋放內(nèi)存
void deallocate(void* ptr) {
if (ptr == nullptr) return;
// 計(jì)算塊頭部地址
MemoryBlock* block = reinterpret_cast<MemoryBlock*>(
static_cast<uint8_t*>(ptr) - MemoryBlock::header_size()
);
// 檢查塊是否在內(nèi)存池范圍內(nèi)
uint8_t* block_ptr = reinterpret_cast<uint8_t*>(block);
if (block_ptr < memory_pool || block_ptr >= memory_pool + total_size) {
throw std::invalid_argument("Invalid pointer to deallocate");
}
// 標(biāo)記為空閑
block->status = BlockStatus::FREE;
size_t order = get_order(block->size);
// 添加到空閑鏈表
add_to_list(block, order);
// 嘗試合并
merge_blocks(block);
}
// 獲取內(nèi)存使用統(tǒng)計(jì)
void get_stats(size_t& total, size_t& used, size_t& free) const {
total = total_size;
// 計(jì)算已使用內(nèi)存
used = 0;
// 遍歷所有塊(簡(jiǎn)化實(shí)現(xiàn),實(shí)際嵌入式系統(tǒng)可能需要更高效的統(tǒng)計(jì)方式)
// 這里使用遞歸方式計(jì)算已分配內(nèi)存
used = calculate_used(memory_pool);
free = total - used;
}
// 遞歸計(jì)算已使用內(nèi)存
size_t calculate_used(void* block_ptr) const {
MemoryBlock* block = static_cast<MemoryBlock*>(block_ptr);
if (block->status == BlockStatus::ALLOCATED) {
return block->size;
}
if (block->is_split && block->left_child) {
return calculate_used(block->left_child) + calculate_used(block->right_child);
}
return 0;
}
// 獲取內(nèi)存池起始地址
const void* get_memory_pool() const {
return memory_pool;
}
};
// 嵌入式任務(wù)基類
class EmbeddedTask {
protected:
BuddyAllocator& allocator;
const char* name;
bool running;
public:
EmbeddedTask(BuddyAllocator& alloc, const char* task_name)
: allocator(alloc), name(task_name), running(false) {}
virtual ~EmbeddedTask() = default;
virtual void start() {
running = true;
}
virtual void stop() {
running = false;
}
virtual void run() = 0;
const char* get_name() const {
return name;
}
bool is_running() const {
return running;
}
};
// 傳感器數(shù)據(jù)采集任務(wù)(模擬)
class SensorTask : public EmbeddedTask {
private:
size_t data_buffer_size;
uint8_t* data_buffer;
public:
SensorTask(BuddyAllocator& alloc)
: EmbeddedTask(alloc, "SensorTask"), data_buffer_size(512), data_buffer(nullptr) {}
void run() override {
if (!running) return;
// 分配內(nèi)存用于存儲(chǔ)傳感器數(shù)據(jù)
data_buffer = static_cast<uint8_t*>(allocator.allocate(data_buffer_size));
if (data_buffer) {
// 模擬采集傳感器數(shù)據(jù)
memset(data_buffer, 0xAA, data_buffer_size);
printf("SensorTask: Collected data into %zu bytes buffer\n", data_buffer_size);
// 模擬數(shù)據(jù)處理延遲
for (volatile int i = 0; i < 100000; i++);
// 處理完成,釋放內(nèi)存
allocator.deallocate(data_buffer);
data_buffer = nullptr;
printf("SensorTask: Released data buffer\n");
} else {
printf("SensorTask: Failed to allocate data buffer\n");
}
}
};
// 藍(lán)牙通信任務(wù)(模擬)
class BluetoothTask : public EmbeddedTask {
private:
size_t packet_size;
uint8_t* packet_buffer;
public:
BluetoothTask(BuddyAllocator& alloc)
: EmbeddedTask(alloc, "BluetoothTask"), packet_size(256), packet_buffer(nullptr) {}
void run() override {
if (!running) return;
// 分配內(nèi)存用于藍(lán)牙數(shù)據(jù)包
packet_buffer = static_cast<uint8_t*>(allocator.allocate(packet_size));
if (packet_buffer) {
// 模擬接收藍(lán)牙數(shù)據(jù)
memset(packet_buffer, 0xBB, packet_size);
printf("BluetoothTask: Received data into %zu bytes packet\n", packet_size);
// 模擬數(shù)據(jù)傳輸延遲
for (volatile int i = 0; i < 50000; i++);
// 傳輸完成,釋放內(nèi)存
allocator.deallocate(packet_buffer);
packet_buffer = nullptr;
printf("BluetoothTask: Released packet buffer\n");
} else {
printf("BluetoothTask: Failed to allocate packet buffer\n");
}
}
};
// 顯示驅(qū)動(dòng)任務(wù)(模擬)
class DisplayTask : public EmbeddedTask {
private:
size_t frame_buffer_size;
uint8_t* frame_buffer;
public:
DisplayTask(BuddyAllocator& alloc)
: EmbeddedTask(alloc, "DisplayTask"), frame_buffer_size(1024), frame_buffer(nullptr) {}
void run() override {
if (!running) return;
// 分配內(nèi)存用于顯示幀緩沖
frame_buffer = static_cast<uint8_t*>(allocator.allocate(frame_buffer_size));
if (frame_buffer) {
// 模擬繪制顯示內(nèi)容
memset(frame_buffer, 0xCC, frame_buffer_size);
printf("DisplayTask: Rendered frame into %zu bytes buffer\n", frame_buffer_size);
// 模擬顯示刷新延遲
for (volatile int i = 0; i < 150000; i++);
// 顯示完成,釋放內(nèi)存
allocator.deallocate(frame_buffer);
frame_buffer = nullptr;
printf("DisplayTask: Released frame buffer\n");
} else {
printf("DisplayTask: Failed to allocate frame buffer\n");
}
}
};
// 主函數(shù),模擬嵌入式設(shè)備內(nèi)存管理
int main() {
// 在嵌入式系統(tǒng)中,這通常是一個(gè)固定的內(nèi)存區(qū)域
uint8_t memory_pool[MAX_MEMORY_SIZE];
// 創(chuàng)建伙伴分配器,使用預(yù)分配的內(nèi)存池
BuddyAllocator allocator(memory_pool, MAX_MEMORY_SIZE);
printf("Embedded Buddy Allocator initialized with %zu bytes\n", MAX_MEMORY_SIZE);
// 創(chuàng)建嵌入式任務(wù)
SensorTask sensor_task(allocator);
BluetoothTask bt_task(allocator);
DisplayTask display_task(allocator);
// 啟動(dòng)任務(wù)
sensor_task.start();
bt_task.start();
display_task.start();
// 模擬RTOS調(diào)度器,循環(huán)執(zhí)行任務(wù)
for (int i = 0; i < 5; i++) {
printf("\n--- Cycle %d ---\n", i + 1);
// 運(yùn)行傳感器任務(wù)
sensor_task.run();
// 運(yùn)行藍(lán)牙任務(wù)
bt_task.run();
// 運(yùn)行顯示任務(wù)
display_task.run();
// 打印內(nèi)存使用情況
size_t total, used, free_mem;
allocator.get_stats(total, used, free_mem);
printf("Memory stats - Total: %zu, Used: %zu (%.1f%%), Free: %zu (%.1f%%)\n",
total, used, (float)used/total*100, free_mem, (float)free_mem/total*100);
}
// 停止任務(wù)
sensor_task.stop();
bt_task.stop();
display_task.stop();
printf("\nAll tasks completed\n");
return 0;
}在嵌入式 Linux 環(huán)境中,可以使用以下命令編譯:
g++ -std=c++11 -Os embedded_buddy_allocator.cpp -o embedded_allocator程序運(yùn)行后將模擬智能手環(huán)等 IoT 設(shè)備的內(nèi)存使用情況,展示伙伴算法如何在資源受限環(huán)境中高效管理內(nèi)存,確保多個(gè)并發(fā)任務(wù)能夠合理共享有限的內(nèi)存資源。
6.3實(shí)時(shí)操作系統(tǒng):為工業(yè)控制提供確定性的 “時(shí)間保障”
在實(shí)時(shí)操作系統(tǒng)中,伙伴算法的確定性內(nèi)存分配和回收時(shí)間特性尤為重要 。以工業(yè)自動(dòng)化生產(chǎn)線為例,各種控制器需要精確地控制電機(jī)的運(yùn)轉(zhuǎn)、機(jī)械臂的動(dòng)作等,對(duì)響應(yīng)時(shí)間的要求極高,哪怕是幾毫秒的延遲都可能導(dǎo)致產(chǎn)品質(zhì)量問(wèn)題甚至生產(chǎn)事故 。
實(shí)時(shí)操作系統(tǒng)利用伙伴算法的確定性,確保在任何時(shí)刻進(jìn)行內(nèi)存分配和回收時(shí),都能在可預(yù)測(cè)的時(shí)間內(nèi)完成 。當(dāng)一個(gè)控制任務(wù)需要分配內(nèi)存來(lái)存儲(chǔ)傳感器數(shù)據(jù)或執(zhí)行控制算法時(shí),伙伴算法能迅速響應(yīng),并且分配時(shí)間是固定的,不受內(nèi)存碎片化程度的影響 。這使得整個(gè)控制系統(tǒng)能夠按照預(yù)定的時(shí)間序列運(yùn)行,滿足工業(yè)控制對(duì)實(shí)時(shí)性和可靠性的苛刻要求 。在航空航天、醫(yī)療設(shè)備等對(duì)安全性和實(shí)時(shí)性要求極高的領(lǐng)域,伙伴算法同樣發(fā)揮著不可或缺的作用,為關(guān)鍵任務(wù)的穩(wěn)定執(zhí)行提供了堅(jiān)實(shí)的內(nèi)存管理保障 。
main.cpp
#include "buddy_allocator.h"
#include <iostream>
#include <cassert>
int main() {
try {
// 創(chuàng)建一個(gè)總大小為1MB,最小塊大小為64字節(jié)的伙伴分配器
BuddyAllocator allocator(1024 * 1024, 64);
std::cout << "伙伴分配器初始化成功:" << std::endl;
std::cout << "總內(nèi)存大小: " << allocator.getTotalSize() << " 字節(jié)" << std::endl;
std::cout << "最小塊大小: " << allocator.getMinBlockSize() << " 字節(jié)" << std::endl;
std::cout << "階數(shù)數(shù)量: " << allocator.getOrderCount() << std::endl;
// 測(cè)試內(nèi)存分配和釋放
void* ptr1 = allocator.allocate(100);
assert(ptr1 != nullptr);
std::cout << "\n分配 100 字節(jié)成功: " << ptr1 << std::endl;
void* ptr2 = allocator.allocate(512);
assert(ptr2 != nullptr);
std::cout << "分配 512 字節(jié)成功: " << ptr2 << std::endl;
void* ptr3 = allocator.allocate(1024);
assert(ptr3 != nullptr);
std::cout << "分配 1024 字節(jié)成功: " << ptr3 << std::endl;
// 釋放內(nèi)存
allocator.deallocate(ptr1);
std::cout << "釋放內(nèi)存: " << ptr1 << std::endl;
allocator.deallocate(ptr2);
std::cout << "釋放內(nèi)存: " << ptr2 << std::endl;
// 再次分配,應(yīng)該能重用剛才釋放的內(nèi)存
void* ptr4 = allocator.allocate(600);
assert(ptr4 != nullptr);
std::cout << "再次分配 600 字節(jié)成功: " << ptr4 << std::endl;
allocator.deallocate(ptr3);
std::cout << "釋放內(nèi)存: " << ptr3 << std::endl;
allocator.deallocate(ptr4);
std::cout << "釋放內(nèi)存: " << ptr4 << std::endl;
// 測(cè)試分配一個(gè)較大的塊
void* ptr5 = allocator.allocate(512 * 1024);
if (ptr5) {
std::cout << "分配 512KB 成功: " << ptr5 << std::endl;
allocator.deallocate(ptr5);
std::cout << "釋放內(nèi)存: " << ptr5 << std::endl;
} else {
std::cout << "分配 512KB 失敗" << std::endl;
}
std::cout << "\n所有測(cè)試完成" << std::endl;
} catch (const std::exception& e) {
std::cerr << "錯(cuò)誤: " << e.what() << std::endl;
return 1;
}
return 0;
}buddy_allocator.h
#ifndef BUDDY_ALLOCATOR_H
#define BUDDY_ALLOCATOR_H
#include <cstddef>
#include <cstdint>
#include <vector>
#include <mutex>
// 伙伴內(nèi)存分配器類
class BuddyAllocator {
public:
// 構(gòu)造函數(shù):指定總內(nèi)存大小和最小塊大小
BuddyAllocator(size_t totalSize, size_t minBlockSize);
// 析構(gòu)函數(shù)
~BuddyAllocator();
// 分配內(nèi)存塊
void* allocate(size_t size);
// 釋放內(nèi)存塊
void deallocate(void* ptr);
// 獲取分配器信息
size_t getTotalSize() const { return m_totalSize; }
size_t getMinBlockSize() const { return m_minBlockSize; }
size_t getOrderCount() const { return m_orderCount; }
private:
// 塊描述符結(jié)構(gòu)
struct Block {
bool isFree; // 塊是否空閑
size_t order; // 塊的階數(shù),塊大小 = minBlockSize * 2^order
Block* next; // 下一個(gè)塊(用于空閑鏈表)
Block* prev; // 上一個(gè)塊(用于空閑鏈表)
Block() : isFree(true), order(0), next(nullptr), prev(nullptr) {}
};
// 計(jì)算塊大小
size_t blockSize(size_t order) const { return m_minBlockSize * (1ULL << order); }
// 計(jì)算給定大小所需的最小階數(shù)
size_t calculateOrder(size_t size) const;
// 找到塊的伙伴
Block* findBuddy(Block* block);
// 分裂塊
void split(Block* block, size_t targetOrder);
// 合并塊
void merge(Block* block);
// 從空閑鏈表中移除塊
void removeFromFreeList(Block* block);
// 將塊添加到空閑鏈表
void addToFreeList(Block* block);
// 轉(zhuǎn)換指針:從塊指針到數(shù)據(jù)指針
void* blockToData(Block* block) const;
// 轉(zhuǎn)換指針:從數(shù)據(jù)指針到塊指針
Block* dataToBlock(void* ptr) const;
// 檢查指針是否屬于此分配器管理的內(nèi)存
bool isPointerValid(void* ptr) const;
size_t m_totalSize; // 總內(nèi)存大小
size_t m_minBlockSize; // 最小塊大小
size_t m_orderCount; // 階數(shù)數(shù)量
uint8_t* m_memoryPool; // 內(nèi)存池起始地址
Block* m_blocks; // 塊描述符數(shù)組
std::vector<Block*> m_freeLists; // 空閑塊鏈表,按階數(shù)組織
// 互斥鎖,確保線程安全
mutable std::mutex m_mutex;
};
#endif // BUDDY_ALLOCATOR_Hbuddy_allocator.cpp
#include "buddy_allocator.h"
#include <cstring>
#include <stdexcept>
#include <iostream>
BuddyAllocator::BuddyAllocator(size_t totalSize, size_t minBlockSize)
: m_totalSize(totalSize), m_minBlockSize(minBlockSize) {
// 檢查最小塊大小是否為2的冪
if ((minBlockSize & (minBlockSize - 1)) != 0) {
throw std::invalid_argument("最小塊大小必須是2的冪");
}
// 計(jì)算所需的最大階數(shù)
size_t maxBlockSize = minBlockSize;
m_orderCount = 0;
while (maxBlockSize * 2 <= totalSize) {
maxBlockSize *= 2;
m_orderCount++;
}
m_orderCount++; // 包含maxBlockSize本身
// 計(jì)算總塊數(shù)
size_t totalBlocks = 0;
size_t currentOrder = m_orderCount - 1;
size_t remainingSize = totalSize;
while (remainingSize > 0 && currentOrder >= 0) {
size_t bs = blockSize(currentOrder);
if (bs <= remainingSize) {
totalBlocks++;
remainingSize -= bs;
} else {
currentOrder--;
}
}
if (remainingSize > 0) {
throw std::invalid_argument("總內(nèi)存大小無(wú)法用指定的最小塊大小的2的冪次組合表示");
}
// 分配內(nèi)存池:數(shù)據(jù)區(qū) + 塊描述符區(qū)
size_t descriptorSize = totalBlocks * sizeof(Block);
m_memoryPool = new uint8_t[totalSize + descriptorSize];
m_blocks = reinterpret_cast<Block*>(m_memoryPool + totalSize);
// 初始化塊描述符和空閑鏈表
m_freeLists.resize(m_orderCount, nullptr);
// 初始化所有塊
uint8_t* dataPtr = m_memoryPool;
remainingSize = totalSize;
currentOrder = m_orderCount - 1;
size_t blockIndex = 0;
while (remainingSize > 0 && currentOrder >= 0) {
size_t bs = blockSize(currentOrder);
if (bs <= remainingSize) {
m_blocks[blockIndex].isFree = true;
m_blocks[blockIndex].order = currentOrder;
m_blocks[blockIndex].next = nullptr;
m_blocks[blockIndex].prev = nullptr;
// 將塊添加到相應(yīng)的空閑鏈表
addToFreeList(&m_blocks[blockIndex]);
dataPtr += bs;
remainingSize -= bs;
blockIndex++;
} else {
currentOrder--;
}
}
}
BuddyAllocator::~BuddyAllocator() {
delete[] m_memoryPool;
}
void* BuddyAllocator::allocate(size_t size) {
std::lock_guard<std::mutex> lock(m_mutex);
// 加上塊頭的大小
size_t requiredSize = size + sizeof(Block);
// 計(jì)算所需的階數(shù)
size_t order = calculateOrder(requiredSize);
if (order >= m_orderCount) {
return nullptr; // 無(wú)法滿足分配請(qǐng)求
}
// 查找合適的空閑塊
size_t currentOrder = order;
while (currentOrder < m_orderCount) {
if (m_freeLists[currentOrder] != nullptr) {
// 找到可用塊
Block* block = m_freeLists[currentOrder];
removeFromFreeList(block);
// 如果當(dāng)前塊大于所需,分裂它
while (currentOrder > order) {
split(block, currentOrder - 1);
currentOrder--;
}
block->isFree = false;
return blockToData(block);
}
currentOrder++;
}
return nullptr; // 沒(méi)有可用塊
}
void BuddyAllocator::deallocate(void* ptr) {
std::lock_guard<std::mutex> lock(m_mutex);
if (!ptr || !isPointerValid(ptr)) {
throw std::invalid_argument("無(wú)效的指針");
}
// 轉(zhuǎn)換為塊指針
Block* block = dataToBlock(ptr);
if (block->isFree) {
throw std::invalid_argument("指針已經(jīng)被釋放");
}
// 標(biāo)記為空閑
block->isFree = true;
addToFreeList(block);
// 嘗試合并
merge(block);
}
size_t BuddyAllocator::calculateOrder(size_t size) const {
if (size == 0) {
return 0;
}
size_t order = 0;
size_t currentSize = m_minBlockSize;
while (currentSize < size && order < m_orderCount - 1) {
currentSize *= 2;
order++;
}
return order;
}
BuddyAllocator::Block* BuddyAllocator::findBuddy(Block* block) {
// 計(jì)算塊在內(nèi)存池中的偏移量
size_t blockSize = blockSize(block->order);
size_t blockOffset = reinterpret_cast<uint8_t*>(blockToData(block)) - m_memoryPool;
// 計(jì)算伙伴塊的偏移量
size_t buddyOffset = (blockOffset ^ blockSize);
// 檢查伙伴塊是否在內(nèi)存池范圍內(nèi)
if (buddyOffset >= m_totalSize) {
return nullptr;
}
// 查找伙伴塊的描述符
uint8_t* buddyData = m_memoryPool + buddyOffset;
return dataToBlock(buddyData);
}
void BuddyAllocator::split(Block* block, size_t targetOrder) {
if (block->order <= targetOrder) {
return; // 不需要分裂
}
size_t currentOrder = block->order;
Block* first = block;
// 找到第二個(gè)塊
size_t halfSize = blockSize(currentOrder - 1);
uint8_t* secondData = reinterpret_cast<uint8_t*>(blockToData(first)) + halfSize;
Block* second = dataToBlock(secondData);
// 更新塊信息
first->order = currentOrder - 1;
second->order = currentOrder - 1;
second->isFree = true;
// 將兩個(gè)塊添加到空閑鏈表
addToFreeList(first);
addToFreeList(second);
}
void BuddyAllocator::merge(Block* block) {
size_t currentOrder = block->order;
// 只能合并到最大階數(shù)
while (currentOrder < m_orderCount - 1) {
Block* buddy = findBuddy(block);
// 檢查伙伴是否存在、空閑且同階
if (!buddy || !buddy->isFree || buddy->order != currentOrder) {
break;
}
// 從空閑鏈表中移除當(dāng)前塊和伙伴塊
removeFromFreeList(block);
removeFromFreeList(buddy);
// 確定合并后的父塊
Block* parent = block;
size_t blockOffset = reinterpret_cast<uint8_t*>(blockToData(block)) - m_memoryPool;
size_t buddyOffset = reinterpret_cast<uint8_t*>(blockToData(buddy)) - m_memoryPool;
if (buddyOffset < blockOffset) {
parent = buddy;
}
// 更新父塊信息
parent->order = currentOrder + 1;
parent->isFree = true;
// 將父塊添加到空閑鏈表
addToFreeList(parent);
// 繼續(xù)嘗試合并更大的塊
block = parent;
currentOrder++;
}
}
void BuddyAllocator::removeFromFreeList(Block* block) {
size_t order = block->order;
if (block->prev) {
block->prev->next = block->next;
} else {
// 是鏈表頭
m_freeLists[order] = block->next;
}
if (block->next) {
block->next->prev = block->prev;
}
block->next = nullptr;
block->prev = nullptr;
}
void BuddyAllocator::addToFreeList(Block* block) {
size_t order = block->order;
// 添加到鏈表頭部
block->next = m_freeLists[order];
block->prev = nullptr;
if (m_freeLists[order]) {
m_freeLists[order]->prev = block;
}
m_freeLists[order] = block;
}
void* BuddyAllocator::blockToData(Block* block) const {
// 計(jì)算塊索引
size_t blockIndex = block - m_blocks;
// 找到該塊在內(nèi)存池中的數(shù)據(jù)區(qū)起始地址
uint8_t* dataPtr = m_memoryPool;
size_t remainingSize = m_totalSize;
for (size_t i = 0; i < blockIndex; i++) {
size_t bs = blockSize(m_blocks[i].order);
dataPtr += bs;
remainingSize -= bs;
}
return dataPtr;
}
BuddyAllocator::Block* BuddyAllocator::dataToBlock(void* ptr) const {
uint8_t* dataPtr = reinterpret_cast<uint8_t*>(ptr);
// 計(jì)算數(shù)據(jù)指針在內(nèi)存池中的偏移量
size_t offset = dataPtr - m_memoryPool;
if (offset >= m_totalSize) {
return nullptr;
}
// 查找對(duì)應(yīng)的塊描述符
uint8_t* currentPtr = m_memoryPool;
for (size_t i = 0; ; i++) {
size_t bs = blockSize(m_blocks[i].order);
if (dataPtr >= currentPtr && dataPtr < currentPtr + bs) {
return &m_blocks[i];
}
currentPtr += bs;
}
}
bool BuddyAllocator::isPointerValid(void* ptr) const {
uint8_t* dataPtr = reinterpret_cast<uint8_t*>(ptr);
return (dataPtr >= m_memoryPool && dataPtr < m_memoryPool + m_totalSize);
}



























