我們在幾乎所有的編程語言中都學習過循環。所以，默認情況下，只要有重復性的操作，我們就會開始實施循環。但是當我們處理大量的迭代（數百萬/數十億行）時，使用循環真是遭罪啊～，你可能會被卡住幾個小時，后來才意識到這是行不通的。這就是在Python中實現向量化變得超級關鍵的地方。
什么是向量化？
向量化是在數據集上實現（NumPy）數組操作的技術。在后臺，它對數組或系列的所有元素一次性進行操作（不像'for'循環那樣一次操作一行）。
在這篇博客中，我們將看看一些用例，在這些用例中，我們可以很容易地用向量化代替Python循環。這將幫助你節省時間，并在編碼方面變得更加熟練。
使用案例1:尋找數字的總和
首先，我們來看看一個基本的例子，即在Python中使用循環和向量來尋找數字的總和。
使用循環
import time
start = time.time()
# 遍歷之和
total = 0
# 遍歷150萬個數字
for item in range(0, 1500000):
total = total + item
print('sum is:' + str(total))
end = time.time()
print(end - start)
#1124999250000
#0.14 Seconds
使用向量化
import numpy as np
start = time.time()
# 向量化和--使用numpy進行向量化
# np.range創建從0到1499999的數字序列
print(np.sum(np.arange(1500000)))
end = time.time()
print(end - start)
##1124999250000
##0.008 Seconds
與使用范圍函數的迭代相比，向量化的執行時間約18倍。在使用Pandas DataFrame時，這種差異將變得更加明顯。
使用案例2:DataFrame數學運算
在數據科學中，當使用Pandas DataFrame時，開發者會使用循環來創建新的數學運算的派生列。
在下面的例子中，我們可以看到，在這樣的用例中，循環可以很容易地被向量化所取代。
創建DataFrame
DataFrame是以行和列的形式存在的表格數據。
我們正在創建一個有500萬行和4列的pandas DataFrame，其中充滿了0到50之間的隨機值。
import numpy as np
import pandas as pd
df = pd.DataFrame(np.random.randint(0, 50,
size=(5000000, 4)),
columns=('a','b','c','d'))
df.shape
# (5000000, 5)
df.head()
我們將創建一個新的列'ratio'，以找到列'd'和'c'的比率。
使用循環
import time
start = time.time()
# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
# creating a new column
df.at[idx,'ratio'] = 100 * (row["d"] / row["c"])
end = time.time()
print(end - start)
### 109 Seconds
使用向量化
start = time.time()
df["ratio"] = 100 * (df["d"] / df["c"])
end = time.time()
print(end - start)
### 0.12 seconds
我們可以看到DataFrame有了明顯的改進，與python中的循環相比，向量化幾乎快了1000倍。
使用案例3:DataFrame上If-else語句
我們實現了很多需要我們使用 "if-else" 類型邏輯的操作。我們可以很容易地用python中的向量化操作代替這些邏輯。
看一下下面的例子來更好地理解它（我們將使用在用例2中創建的DataFrame）。
想象一下，如何根據退出的列'a'的一些條件來創建一個新的列'e'。
使用循環
import time
start = time.time()
# Iterating through DataFrame using iterrows
for idx, row in df.iterrows():
if row.a == 0:
df.at[idx,'e'] = row.d
elif (row.a <= 25) & (row.a > 0):
df.at[idx,'e'] = (row.b)-(row.c)
else:
df.at[idx,'e'] = row.b + row.c
end = time.time()
print(end - start)
### Time taken: 177 seconds
使用向量化
start = time.time()
df['e'] = df['b'] + df['c']
df.loc[df['a'] <= 25, 'e'] = df['b'] -df['c']
df.loc[df['a']==0, 'e'] = df['d']end = time.time()
print(end - start)
## 0.28007707595825195 sec
與帶有if-else語句的python循環相比，向量化操作要比循環快600倍。
使用案例4:解決機器學習/深度學習網絡
深度學習要求我們解決多個復雜的方程，而且是針對數百萬和數十億行的方程。在Python中運行循環來解決這些方程是非常慢的，此時，向量化是最佳的解決方案。
例如，要計算以下多線性回歸方程中數百萬行的y值。
我們可以用向量化代替循環。
m1,m2,m3...的值是通過使用對應于x1,x2,x3...的數百萬個值來解決上述方程而確定的（為了簡單起見，只看一個簡單的乘法步驟）
創建數據
>>> import numpy as np
>>> # 設置 m 的初始值
>>> m = np.random.rand(1,5)
array([[0.49976103, 0.33991827, 0.60596021, 0.78518515, 0.5540753]])
>>> # 500萬行的輸入值
>>> x = np.random.rand(5000000,5)
使用循環
import numpy as np
m = np.random.rand(1,5)
x = np.random.rand(5000000,5)
total = 0
tic = time.process_time()
for i in range(0,5000000):
total = 0
for j in range(0,5):
total = total + x[i][j]*m[0][j]
zer[i] = total
toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")
####Computation time = 28.228 seconds
使用向量化
tic = time.process_time()
#dot product
np.dot(x,m.T)
toc = time.process_time()
print ("Computation time = " + str((toc - tic)) + "seconds")
####Computation time = 0.107 seconds
np.dot在后端實現了向量的矩陣乘法。與python中的循環相比，它的速度提高了165倍。
寫在最后
Python中的向量化是非常快的，當在處理非常大的數據集時，建議你應該優先考慮向量化而不是循環。這樣，隨著時間的推移，你會逐漸習慣于按照向量化的思路來編寫代碼。
