提升CPU算力，在Python中使用多進程模型
作者｜盧佳瑜，單位：中移物聯(lián)網有限公司
Labs 導讀
云原生時代，應用對硬件資源的需求增長巨大，但單核CPU性能的提升存在瓶頸，摩爾定律已經失效。性能的提升更多側重于使用多核并發(fā)，而不是依賴單核性能。
俗話說再強的個人也敵不過訓練有素的團隊，便是這個道理。
但即便是對多核的利用，也分為多進程、多線程等不同的方案， 我們經常會聽到老手說：“python下多線程是雞肋，推薦使用多進程！”
為什么這么說呢？
要知其然，更要知其所以然。所以有了下面的深入研究。
Part 01 概述
目前算力網絡發(fā)展中，經常出現(xiàn)并行計算的需求，而在python中，如果你使用多線程進行并行，那么就會面臨一個尷尬的問題：一核干活，其它圍觀。為什么會出現(xiàn)這樣一個尷尬的問題呢？是因為python中GIL鎖的存在。
GIL是什么？
GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設計之初的考慮，為了數據安全所做的決定，每個進程單獨擁有一把GIL鎖。
進程是什么？
進程是程序的一次執(zhí)行過程，是一個動態(tài)概念，是程序在執(zhí)行過程中分配和管理資源的基本單位，
線程是什么？
線程是CPU調度和分派的基本單位，它可與同屬一個進程的其他的線程共享進程所擁有的全部資源。
進程與線程的關系？
線程是進程的一部分，一個線程只能屬于一個進程，而一個進程可以有多個線程，但至少有一個線程。
為什么用多進程和多線程？
現(xiàn)代CPU通常是多核CPU，如果業(yè)務代碼是單進程/單線程，那么在運行時實際上就只能使用一個CPU核心，其他核心只能浪費，為了提升代碼運行效率，我們使用多進程or多線程，對多個CPU核心進行充分利用，以提升代碼執(zhí)行效率。
Part 02 執(zhí)行原理
每個CPU核心在同一時間只能執(zhí)行一個線程（在單核CPU下的多線程其實都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來講都是同時處理多路請求的概念。但并發(fā)和并行又有區(qū)別，并行是指兩個或者多個事件在同一時刻發(fā)生；而并發(fā)是指兩個或多個事件在同一時間間隔內發(fā)生。）
在Python多線程下，每個線程的執(zhí)行方式：
- 獲取GIL
- 執(zhí)行代碼直到sleep或者是python虛擬機將其掛起。
- 釋放GIL
可見，某個線程想要執(zhí)行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執(zhí)行。
在python2.x里，GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數達到100（ticks可以看作是python自身的一個計數器，專門做用于GIL，每次釋放后歸零，這個計數可以通過 sys.setcheckinterval 來調整），進行釋放。
而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行)，這就是為什么在多核CPU上，python的多線程效率并不高。
Part 03 實際場景分析
在實際應用場景中，并不是所有業(yè)務都能將CPU跑滿，也就并不是所有業(yè)務都需要使用多進程，接下來我們分類進行討論：
1、CPU密集型業(yè)務(各種循環(huán)處理、計數、數學計算等)，在這種情況下，ticks計數很快就會達到閾值，然后觸發(fā)GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。
2、IO密集型業(yè)務(文件處理、網絡爬蟲等)，多線程能夠有效提升效率（單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率）。所以python的多線程對IO密集型代碼比較友好。
而在python3.x中，GIL不使用ticks計數，改為使用計時器（執(zhí)行時間達到閾值后，當前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導致的同一時間只能執(zhí)行一個線程的問題，所以效率依然不盡如人意。
Part 04 總結
回到最開始的問題：經常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什么呢？
原因是每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執(zhí)行，所以在python中，多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。
所以我們能夠得出結論：多核下，想做并行提升效率，比較通用的方法是使用多進程，能夠有效提高執(zhí)行效率。?
