大家好，我是小風(fēng)哥，有很多同學(xué)問能不能發(fā)下之前的文章，后續(xù)我會(huì)找一些之前閱讀量不錯(cuò)的發(fā)下，本文首發(fā)于2020年8月。

一切要從CPU說起

你可能會(huì)有疑問，講多線程為什么要從CPU說起呢？原因很簡(jiǎn)單，在這里沒有那些時(shí)髦的概念，你可以更加清晰的看清問題的本質(zhì)。

CPU并不知道線程、進(jìn)程之類的概念。

CPU只知道兩件事:

1. 從內(nèi)存中取出指令

2. 執(zhí)行指令，然后回到1

圖片

你看，在這里CPU確實(shí)是不知道什么進(jìn)程、線程之類的概念。

接下來的問題就是CPU從哪里取出指令呢？答案是來自一個(gè)被稱為Program Counter(簡(jiǎn)稱PC)的寄存器，也就是我們熟知的程序計(jì)數(shù)器，在這里大家不要把寄存器想的太神秘，你可以簡(jiǎn)單的把寄存器理解為內(nèi)存，只不過存取速度更快而已。

PC寄存器中存放的是什么呢？這里存放的是指令在內(nèi)存中的地址，什么指令呢？是CPU將要執(zhí)行的下一條指令。

圖片

那么是誰來設(shè)置PC寄存器中的指令地址呢？

原來PC寄存器中的地址默認(rèn)是自動(dòng)加1的，這當(dāng)然是有道理的，因?yàn)榇蟛糠智闆r下CPU都是一條接一條順序執(zhí)行，當(dāng)遇到if、else時(shí)，這種順序執(zhí)行就被打破了，CPU在執(zhí)行這類指令時(shí)會(huì)根據(jù)計(jì)算結(jié)果來動(dòng)態(tài)改變PC寄存器中的值，這樣CPU就可以正確的跳轉(zhuǎn)到需要執(zhí)行的指令了。

聰明的你一定會(huì)問，那么PC中的初始值是怎么被設(shè)置的呢？

在回答這個(gè)問題之前我們需要知道CPU執(zhí)行的指令來自哪里？是來自內(nèi)存，廢話，內(nèi)存中的指令是從磁盤中保存的可執(zhí)行程序加載過來的，磁盤中可執(zhí)行程序是編譯器生成的，編譯器又是從哪里生成的機(jī)器指令呢？答案就是我們定義的函數(shù)。

圖片

注意是函數(shù)，函數(shù)被編譯后才會(huì)形成CPU執(zhí)行的指令，那么很自然的，我們?cè)撊绾巫孋PU執(zhí)行一個(gè)函數(shù)呢？顯然我們只需要找到函數(shù)被編譯后形成的第一條指令就可以了，第一條指令就是函數(shù)入口。

現(xiàn)在你應(yīng)該知道了吧，我們想要CPU執(zhí)行一個(gè)函數(shù)，那么只需要把該函數(shù)對(duì)應(yīng)的第一條機(jī)器指令的地址寫入PC寄存器就可以了，這樣我們寫的函數(shù)就開始被CPU執(zhí)行起來啦。

你可能會(huì)有疑問，這和線程有什么關(guān)系呢？

從CPU到操作系統(tǒng)

上一小節(jié)中我們明白了CPU的工作原理，我們想讓CPU執(zhí)行某個(gè)函數(shù)，那么只需要把函數(shù)對(duì)應(yīng)的第一條機(jī)器執(zhí)行裝入PC寄存器就可以了，這樣即使沒有操作系統(tǒng)我們也可以讓CPU執(zhí)行程序，雖然可行但這是一個(gè)非常繁瑣的過程，我們需要：

• 在內(nèi)存中找到一塊大小合適的區(qū)域裝入程序
• 找到函數(shù)入口，設(shè)置好PC寄存器讓CPU開始執(zhí)行程序

這兩個(gè)步驟絕不是那么容易的事情，如果每次在執(zhí)行程序時(shí)程序員自己手動(dòng)實(shí)現(xiàn)上述兩個(gè)過程會(huì)瘋掉的，因此聰明的程序員就會(huì)想干脆直接寫個(gè)程序來自動(dòng)完成上面兩個(gè)步驟吧。

圖片

機(jī)器指令需要加載到內(nèi)存中執(zhí)行，因此需要記錄下內(nèi)存的起始地址和長(zhǎng)度；同時(shí)要找到函數(shù)的入口地址并寫到PC寄存器中，想一想這是不是需要一個(gè)數(shù)據(jù)結(jié)構(gòu)來記錄下這些信息：

struct *** {
   void* start_addr;
   int len;
   
   void* start_point;
   ...
};

接下來就是起名字時(shí)刻。

這個(gè)數(shù)據(jù)結(jié)構(gòu)總要有個(gè)名字吧，這個(gè)結(jié)構(gòu)體用來記錄什么信息呢？記錄的是程序在被加載到內(nèi)存中的運(yùn)行狀態(tài)，程序從磁盤加載到內(nèi)存跑起來叫什么好呢？干脆就叫進(jìn)程(Process)好了，我們的指導(dǎo)原則就是一定要聽上去比較神秘，總之大家都不容易弄懂就對(duì)了，我將其稱為“弄不懂原則”。

就這樣進(jìn)程誕生了。

CPU執(zhí)行的第一個(gè)函數(shù)也起個(gè)名字，第一個(gè)要被執(zhí)行的函數(shù)聽起來比較重要，干脆就叫main函數(shù)吧。

完成上述兩個(gè)步驟的程序也要起個(gè)名字，根據(jù)“弄不懂原則”這個(gè)“簡(jiǎn)單”的程序就叫操作系統(tǒng)(Operating System)好啦。

就這樣操作系統(tǒng)誕生了，程序員要想運(yùn)行程序再也不用自己手動(dòng)加載一遍了。

現(xiàn)在進(jìn)程和操作系統(tǒng)都有了，一切看上去都很完美。

從單核到多核，如何充分利用多核

人類的一大特點(diǎn)就是生命不息折騰不止，從單核折騰到了多核。

圖片

這時(shí)，假設(shè)我們想寫一個(gè)程序并且要分利用多核該怎么辦呢？

有的同學(xué)可能會(huì)說不是有進(jìn)程嗎，多開幾個(gè)進(jìn)程不就可以了？聽上去似乎很有道理，但是主要存在這樣幾個(gè)問題：

• 進(jìn)程是需要占用內(nèi)存空間的(從上一節(jié)能看到這一點(diǎn))，如果多個(gè)進(jìn)程基于同一個(gè)可執(zhí)行程序，那么這些進(jìn)程其內(nèi)存區(qū)域中的內(nèi)容幾乎完全相同，這顯然會(huì)造成內(nèi)存的浪費(fèi)
• 計(jì)算機(jī)處理的任務(wù)可能是比較復(fù)雜的，這就涉及到了進(jìn)程間通信，由于各個(gè)進(jìn)程處于不同的內(nèi)存地址空間，進(jìn)程間通信天然需要借助操作系統(tǒng)，這就在增大編程難度的同時(shí)也增加了系統(tǒng)開銷

該怎么辦呢？

從進(jìn)程到線程

讓我再來仔細(xì)的想一想這個(gè)問題，所謂進(jìn)程無非就是內(nèi)存中的一段區(qū)域，這段區(qū)域中保存了CPU執(zhí)行的機(jī)器指令以及函數(shù)運(yùn)行時(shí)的堆棧信息，要想讓進(jìn)程運(yùn)行，就把main函數(shù)的第一條機(jī)器指令地址寫入PC寄存器，這樣進(jìn)程就運(yùn)行起來了。

圖片

進(jìn)程的缺點(diǎn)在于只有一個(gè)入口函數(shù)，也就是main函數(shù)，因此進(jìn)程中的機(jī)器指令只能被一個(gè)CPU執(zhí)行，那么有沒有辦法讓多個(gè)CPU來執(zhí)行同一個(gè)進(jìn)程中的機(jī)器指令呢？

聰明的你應(yīng)該能想到，既然我們可以把main函數(shù)的第一條指令地址寫入PC寄存器，那么其它函數(shù)和main函數(shù)又有什么區(qū)別呢？

答案是沒什么區(qū)別，main函數(shù)的特殊之處無非就在于是CPU執(zhí)行的第一個(gè)函數(shù)，除此之外再無特別之處，我們可以把PC寄存器指向main函數(shù)，就可以把PC寄存器指向任何一個(gè)函數(shù)。

當(dāng)我們把PC寄存器指向非main函數(shù)時(shí)，線程就誕生了。

圖片

至此我們解放了思想，一個(gè)進(jìn)程內(nèi)可以有多個(gè)入口函數(shù)，也就是說屬于同一個(gè)進(jìn)程中的機(jī)器指令可以被多個(gè)CPU同時(shí)執(zhí)行。

注意，這是一個(gè)和進(jìn)程不同的概念，創(chuàng)建進(jìn)程時(shí)我們需要在內(nèi)存中找到一塊合適的區(qū)域以裝入進(jìn)程，然后把CPU的PC寄存器指向main函數(shù)，也就是說進(jìn)程中只有一個(gè)執(zhí)行流。

圖片

但是現(xiàn)在不一樣了，多個(gè)CPU可以在同一個(gè)屋檐下(進(jìn)程占用的內(nèi)存區(qū)域)同時(shí)執(zhí)行屬于該進(jìn)程的多個(gè)入口函數(shù)，也就是說現(xiàn)在一個(gè)進(jìn)程內(nèi)可以有多個(gè)執(zhí)行流了。

圖片

總是叫執(zhí)行流好像有點(diǎn)太容易理解了，再次祭出”弄不懂原則“，起個(gè)不容易懂的名字，就叫線程吧。

這就是線程的由來。

操作系統(tǒng)為每個(gè)進(jìn)程維護(hù)了一堆信息，用來記錄進(jìn)程所處的內(nèi)存空間等，這堆信息記為數(shù)據(jù)集A。

同樣的，操作系統(tǒng)也需要為線程維護(hù)一堆信息，用來記錄線程的入口函數(shù)或者棧信息等，這堆數(shù)據(jù)記為數(shù)據(jù)集B。

顯然數(shù)據(jù)集B要比數(shù)據(jù)A的量要少，同時(shí)不像進(jìn)程，創(chuàng)建一個(gè)線程時(shí)無需去內(nèi)存中找一段內(nèi)存空間，因?yàn)榫€程是運(yùn)行在所處進(jìn)程的地址空間的，這塊地址空間在程序啟動(dòng)時(shí)已經(jīng)創(chuàng)建完畢，同時(shí)線程是程序在運(yùn)行期間創(chuàng)建的(進(jìn)程啟動(dòng)后)，因此當(dāng)線程開始運(yùn)行的時(shí)候這塊地址空間就已經(jīng)存在了，線程可以直接使用。這就是為什么各種教材上提的創(chuàng)建線程要比創(chuàng)建進(jìn)程快的原因(當(dāng)然還有其它原因)。

值得注意的是，有了線程這個(gè)概念后，我們只需要進(jìn)程開啟后創(chuàng)建多個(gè)線程就可以讓所有CPU都忙起來，這就是所謂高性能、高并發(fā)的根本所在。

很簡(jiǎn)單，只需要?jiǎng)?chuàng)建出數(shù)量合適的線程就可以了。

另外值得注意的一點(diǎn)是，由于各個(gè)線程共享進(jìn)程的內(nèi)存地址空間，因此線程之間的通信無需借助操作系統(tǒng)，這給程序員帶來極大方便的同時(shí)也帶來了無盡的麻煩，多線程遇到的多數(shù)問題都出自于線程間通信簡(jiǎn)直太方便了以至于非常容易出錯(cuò)。出錯(cuò)的根源在于CPU執(zhí)行指令時(shí)根本沒有線程的概念，多線程編程面臨的互斥與同步問題需要程序員自己解決，關(guān)于互斥與同步問題限于篇幅就不詳細(xì)展開了，大部分的操作系統(tǒng)資料都有詳細(xì)講解。

最后需要提醒的是，雖然前面關(guān)于線程講解使用的圖中用了多個(gè)CPU，但不是說一定要有多核才能使用多線程，在單核的情況下一樣可以創(chuàng)建出多個(gè)線程，原因在于線程是操作系統(tǒng)層面的實(shí)現(xiàn)，和有多少個(gè)核心是沒有關(guān)系的，CPU在執(zhí)行機(jī)器指令時(shí)也意識(shí)不到執(zhí)行的機(jī)器指令屬于哪個(gè)線程。即使在只有一個(gè)CPU的情況下，操作系統(tǒng)也可以通過線程調(diào)度讓各個(gè)線程“同時(shí)”向前推進(jìn)，方法就是將CPU的時(shí)間片在各個(gè)線程之間來回分配，這樣多個(gè)線程看起來就是“同時(shí)”運(yùn)行了，但實(shí)際上任意時(shí)刻還是只有一個(gè)線程在運(yùn)行。

線程與內(nèi)存

在前面的討論中我們知道了線程和CPU的關(guān)系，也就是把CPU的PC寄存器指向線程的入口函數(shù)，這樣線程就可以運(yùn)行起來了，這就是為什么我們創(chuàng)建線程時(shí)必須指定一個(gè)入口函數(shù)的原因。無論使用任何編程語言，創(chuàng)建一個(gè)線程大體相同：

// 設(shè)置線程入口函數(shù)DoSomething
thread = CreateThread(DoSomething);


// 讓線程運(yùn)行起來
thread.Run();

那么線程和內(nèi)存又有什么關(guān)聯(lián)呢？

我們知道函數(shù)在被執(zhí)行的時(shí)產(chǎn)生的數(shù)據(jù)包括函數(shù)參數(shù)、局部變量、返回地址等信息，這些信息是保存在棧中的，線程這個(gè)概念還沒有出現(xiàn)時(shí)進(jìn)程中只有一個(gè)執(zhí)行流，因此只有一個(gè)棧，這個(gè)棧的棧底就是進(jìn)程的入口函數(shù)，也就是main函數(shù)，假設(shè)main函數(shù)調(diào)用了funA，funcA又調(diào)用了funcB，如圖所示：

圖片

那么有了線程以后了呢？

有了線程以后一個(gè)進(jìn)程中就存在多個(gè)執(zhí)行入口，即同時(shí)存在多個(gè)執(zhí)行流，那么只有一個(gè)執(zhí)行流的進(jìn)程需要一個(gè)棧來保存運(yùn)行時(shí)信息，那么很顯然有多個(gè)執(zhí)行流時(shí)就需要有多個(gè)棧來保存各個(gè)執(zhí)行流的信息，也就是說操作系統(tǒng)要為每個(gè)線程在進(jìn)程的地址空間中分配一個(gè)棧，即每個(gè)線程都有獨(dú)屬于自己的棧，能意識(shí)到這一點(diǎn)是極其關(guān)鍵的。

圖片

同時(shí)我們也可以看到，創(chuàng)建線程是要消耗進(jìn)程內(nèi)存空間的，這一點(diǎn)也值得注意。

線程的使用

現(xiàn)在有了線程的概念，那么接下來作為程序員我們?cè)撊绾问褂镁€程呢？

從生命周期的角度講，線程要處理的任務(wù)有兩類：長(zhǎng)任務(wù)和短任務(wù)。

1，長(zhǎng)任務(wù)，long-lived tasks

顧名思義，就是任務(wù)存活的時(shí)間很長(zhǎng)，比如以我們常用的word為例，我們?cè)趙ord中編輯的文字需要保存在磁盤上，往磁盤上寫數(shù)據(jù)就是一個(gè)任務(wù)，那么這時(shí)一個(gè)比較好的方法就是專門創(chuàng)建一個(gè)寫磁盤的線程，該寫線程的生命周期和word進(jìn)程是一樣的，只要打開word就要?jiǎng)?chuàng)建出該寫線程，當(dāng)用戶關(guān)閉word時(shí)該線程才會(huì)被銷毀，這就是長(zhǎng)任務(wù)。

這種場(chǎng)景非常適合創(chuàng)建專用的線程來處理某些特定任務(wù)，這種情況比較簡(jiǎn)單。

有長(zhǎng)任務(wù)，相應(yīng)的就有短任務(wù)。

2，短任務(wù)，short-lived tasks

這個(gè)概念也很簡(jiǎn)單，那就是任務(wù)的處理時(shí)間很短，比如一次網(wǎng)絡(luò)請(qǐng)求、一次數(shù)據(jù)庫查詢等，這種任務(wù)可以在短時(shí)間內(nèi)快速處理完成。因此短任務(wù)多見于各種Server，像web server、database server、file server、mail server等，這也是互聯(lián)網(wǎng)行業(yè)的同學(xué)最常見的場(chǎng)景，這種場(chǎng)景是我們要重點(diǎn)討論的。

這種場(chǎng)景有兩個(gè)特點(diǎn)：一個(gè)是任務(wù)處理所需時(shí)間短；另一個(gè)是任務(wù)數(shù)量巨大。

如果讓你來處理這種類型的任務(wù)該怎么辦呢？

你可能會(huì)想，這很簡(jiǎn)單啊，當(dāng)server接收到一個(gè)請(qǐng)求后就創(chuàng)建一個(gè)線程來處理任務(wù)，處理完成后銷毀該線程即可，So easy。

這種方法通常被稱為thread-per-request，也就是說來一個(gè)請(qǐng)求就創(chuàng)建一個(gè)線程：

圖片

如果是長(zhǎng)任務(wù)，那么這種方法可以工作的很好，但是對(duì)于大量的短任務(wù)這種方法雖然實(shí)現(xiàn)簡(jiǎn)單但是有這樣幾個(gè)缺點(diǎn)：

1. 從前幾節(jié)我們能看到，線程是操作系統(tǒng)中的概念(這里不討論用戶態(tài)線程實(shí)現(xiàn)、協(xié)程之類)，因此創(chuàng)建線程天然需要借助操作系統(tǒng)來完成，操作系統(tǒng)創(chuàng)建和銷毀線程是需要消耗時(shí)間的

2. 每個(gè)線程需要有自己獨(dú)立的棧，因此當(dāng)創(chuàng)建大量線程時(shí)會(huì)消耗過多的內(nèi)存等系統(tǒng)資源

這就好比你是一個(gè)工廠老板(想想都很開心有沒有)，手里有很多訂單，每來一批訂單就要招一批工人，生產(chǎn)的產(chǎn)品非常簡(jiǎn)單，工人們很快就能處理完，處理完這批訂單后就把這些千辛萬苦招過來的工人辭退掉，當(dāng)有新的訂單時(shí)你再千辛萬苦的招一遍工人，干活兒5分鐘招人10小時(shí)，如果你不是勵(lì)志要讓企業(yè)倒閉的話大概是不會(huì)這么做到的，因此一個(gè)更好的策略就是招一批人后就地養(yǎng)著，有訂單時(shí)處理訂單，沒有訂單時(shí)大家可以閑呆著。

這就是線程池的由來。

從多線程到線程池

線程池的概念是非常簡(jiǎn)單的，無非就是創(chuàng)建一批線程，之后就不再釋放了，有任務(wù)就提交給這些線程處理，因此無需頻繁的創(chuàng)建、銷毀線程，同時(shí)由于線程池中的線程個(gè)數(shù)通常是固定的，也不會(huì)消耗過多的內(nèi)存，因此這里的思想就是復(fù)用、可控。

線程池是如何工作的

可能有的同學(xué)會(huì)問，該怎么給線程池提交任務(wù)呢？這些任務(wù)又是怎么給到線程池中線程呢？

很顯然，數(shù)據(jù)結(jié)構(gòu)中的隊(duì)列天然適合這種場(chǎng)景，提交任務(wù)的就是生產(chǎn)者，消費(fèi)任務(wù)的線程就是消費(fèi)者，實(shí)際上這就是經(jīng)典的生產(chǎn)者-消費(fèi)者問題。

圖片

現(xiàn)在你應(yīng)該知道為什么操作系統(tǒng)課程要講、面試要問這個(gè)問題了吧，因?yàn)槿绻銓?duì)生產(chǎn)者-消費(fèi)者問題不理解的話，本質(zhì)上你是無法正確的寫出線程池的。

限于篇幅在這里博主不打算詳細(xì)的講解生產(chǎn)者消費(fèi)者問題，參考操作系統(tǒng)相關(guān)資料就能獲取答案。這里博主打算講一講一般提交給線程池的任務(wù)是什么樣子的。

一般來說提交給線程池的任務(wù)包含兩部分：1) 需要被處理的數(shù)據(jù)；2) 處理數(shù)據(jù)的函數(shù)

struct task {
void* data;     // 任務(wù)所攜帶的數(shù)據(jù)
    handler handle; // 處理數(shù)據(jù)的方法
}

(注意，你也可以把代碼中的struct理解成class，也就是對(duì)象。)

線程池中的線程會(huì)阻塞在隊(duì)列上，當(dāng)生產(chǎn)者向隊(duì)列中寫入數(shù)據(jù)后，線程池中的某個(gè)線程會(huì)被喚醒，該線程從隊(duì)列中取出上述結(jié)構(gòu)體(或者對(duì)象)，以結(jié)構(gòu)體(或者對(duì)象)中的數(shù)據(jù)為參數(shù)并調(diào)用處理函數(shù)：

while(true) {  struct task = GetFromQueue(); // 從隊(duì)列中取出數(shù)據(jù)  task->handle(task->data);     // 處理數(shù)據(jù)}

以上就是線程池最核心的部分。

理解這些你就能明白線程池是如何工作的了。

線程池中線程的數(shù)量

現(xiàn)在線程池有了，那么線程池中線程的數(shù)量該是多少呢？

在接著往下看前先自己想一想這個(gè)問題。

如果你能看到這里說明還沒有睡著。

要知道線程池的線程過少就不能充分利用CPU，線程創(chuàng)建的過多反而會(huì)造成系統(tǒng)性能下降，內(nèi)存占用過多，線程切換造成的消耗等等。因此線程的數(shù)量既不能太多也不能太少，那到底該是多少呢？

回答這個(gè)問題，你需要知道線程池處理的任務(wù)有哪幾類，有的同學(xué)可能會(huì)說你不是說有兩類嗎？長(zhǎng)任務(wù)和短任務(wù)，這個(gè)是從生命周期的角度來看的，那么從處理任務(wù)所需要的資源角度看也有兩種類型，這就是沒事兒找抽型和。。啊不，是CPU密集型和I/O密集型。

CPU密集型

所謂CPU密集型就是說處理任務(wù)不需要依賴外部I/O，比如科學(xué)計(jì)算、矩陣運(yùn)算等等。在這種情況下只要線程的數(shù)量和核數(shù)基本相同就可以充分利用CPU資源。