10招！看骨灰級Pythoner如何玩轉(zhuǎn)Python
pandas是基于numpy構(gòu)建的，使數(shù)據(jù)分析工作變得更快更簡單的高級數(shù)據(jù)結(jié)構(gòu)和操作工具。本文為大家?guī)?0個玩轉(zhuǎn)Python的小技巧，學(xué)會了分分鐘通關(guān)變大神!
1. read_csv
每個人都知道這個命令。但如果你要讀取很大的數(shù)據(jù)，嘗試添加這個參數(shù)：nrows = 5，以便在實際加載整個表之前僅讀取表的一小部分。然后你可以通過選擇錯誤的分隔符來避免錯誤(它不一定總是以逗號分隔)。
(或者，你可以在linux中使用'head'命令來檢查任何文本文件中的前5行，例如：head -c 5 data.txt)
然后，你可以使用df.columns.tolist()來提取列表中的所有列，然后添加usecols = ['c1'，'c2'，...]參數(shù)以加載所需的列。此外，如果你知道幾個特定列的數(shù)據(jù)類型，則可以添加參數(shù)dtype = {'c1'：str，'c2'：int，...}，以便數(shù)據(jù)加載得更快。此參數(shù)還有另一個優(yōu)點，如果你有一個同時包含字符串和數(shù)字的列，那么將其類型聲明為字符串是一個好選擇，這樣就可以在嘗試使用此列作為鍵去合并表時不會出錯。
2. select_dtypes
如果必須在Python中進行數(shù)據(jù)預(yù)處理，那么這個命令可以節(jié)約一些時間。讀取表后，每列的默認數(shù)據(jù)類型可以是bool，int64，float64，object，category，timedelta64或datetime64。你可以先查看
- df.dtypes.value_counts（）
命令分發(fā)的結(jié)果以了解數(shù)據(jù)幀的所有可能數(shù)據(jù)類型，然后執(zhí)行
- df.select_dtypes（include = ['float64'，'int64']）
選擇僅具有數(shù)字特征的子數(shù)據(jù)幀。
3. Copy
這是一個重要的命令。如果執(zhí)行以下命令：
- import pandas as pd
- df1 = pd.DataFrame({ ‘a’:[0,0,0], ‘b’: [1,1,1]})
- df2 = df1
- df2[‘a’] = df2[‘a’] + 1
- df1.head()
你會發(fā)現(xiàn)df1已經(jīng)改變了。這是因為df2 = df1沒有復(fù)制df1的值并將其分配給df2，而是設(shè)置指向df1的指針。因此，df2的任何變化都會導(dǎo)致df1發(fā)生變化 要解決這個問題，你可以：
- df2
- = df1.copy()
- br
或者
- from copy import deepcopy
- df2 = deepcopy(df1)
4. Map
這是一個可以進行簡單數(shù)據(jù)轉(zhuǎn)換的命令。首先定義一個字典，其中'keys'是舊值，'values'是新值。
- level_map = {1: ‘high’, 2: ‘medium’, 3: ‘low’}
- df[‘c_level’] = df[‘c’].map(level_map)
舉幾個例子：True，F(xiàn)alse為1,0(用于建模); 定義水平; 用戶定義的詞法編碼。
5. apply or not apply?
如果我們想創(chuàng)建一個新的列，并將其他列作為輸入，那么apply函數(shù)有時非常有用。
- def rule(x, y):
- if x == ‘high’ and y > 10:
- return 1
- else:
- return 0
- df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]})
- df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1)
- df.head()
在上面的代碼中，我們定義了一個帶有兩個輸入變量的函數(shù)，并使用apply函數(shù)將其應(yīng)用于列'c1'和'c2'。
但“apply函數(shù)”的問題是它有時太慢了。 如果你想計算兩列“c1”和“c2”的***值，你可以：
- df[‘maximum’] = df.apply(lambda x: max(x[‘c1’], x[‘c2’]), axis = 1)
但你會發(fā)現(xiàn)它比這個命令慢得多：
- df[‘maximum’] = df[[‘c1’,’c2']].max(axis =1)
注意：如果可以使用其他內(nèi)置函數(shù)完成相同的工作(它們通常更快)，請不要使用apply。例如，如果要將列'c'舍入為整數(shù)，請執(zhí)行round(df ['c']，0)而非使用apply函數(shù)：
- df.apply(lambda x: round(x['c'], 0), axis = 1)
6. value counts
這是一個檢查值分布的命令。例如，如果你想檢查“c”列中每個值的可能值和頻率，可以執(zhí)行以下操作
- df[‘c’].value_counts()
它有一些有用的技巧/參數(shù)：
- A. normalize = True：如果你要檢查頻率而不是計數(shù)。
- B. dropna = False：如果你要統(tǒng)計數(shù)據(jù)中包含的缺失值。
- C. df['c'].value_counts().reset_index(): 如果你想將stats表轉(zhuǎn)換成pandas數(shù)據(jù)幀并進行操作。
- D. df['c'].value_counts().reset_index().sort_values(by='index') : 顯示按值而不是按計數(shù)排序的統(tǒng)計數(shù)據(jù)。
7. 缺失值的數(shù)量
構(gòu)建模型時，你可能希望排除具有很多缺失值或全是缺失值的行。你可以使用.isnull()和.sum()來計算指定列中缺失值的數(shù)量。
- import pandas as pd
- import numpy as np
- df = pd.DataFrame({ ‘id’: [1,2,3], ‘c1’:[0,0,np.nan], ‘c2’: [np.nan,1,1]})
- dfdf = df[[‘id’, ‘c1’, ‘c2’]]
- df[‘num_nulls’] = df[[‘c1’, ‘c2’]].isnull().sum(axis=1)
- df.head()
8. 選擇具有特定ID的行
在SQL中，我們可以使用SELECT * FROM ... WHERE ID('A001'，'C022'，...)來獲取具有特定ID的記錄。如果想用Pandas做同樣的事情，你可以
- dfdf_filter = df[‘ID’].isin([‘A001’,‘C022’,...])
- df[df_filter]
9. Percentile groups
你有一個數(shù)字列，并希望將該列中的值分類為組，例如將列的前5%，分為組1，前5-20%分為組2，前20%-50%分為組3，***50%分為組4。當(dāng)然，你可以用pandas.cut來做，但這里提供另一個選擇：
- import numpy as np
- cut_points = [np.percentile(df[‘c’], i) for i in [50, 80, 95]]
- df[‘group’] = 1
- for i in range(3):
- df[‘group’] = df[‘group’] + (df[‘c’] < cut_points[i])
- # or <= cut_points[i]
這個指令使計算機運行的非常快(沒有使用應(yīng)用功能)。
10. to_csv
這也是每個人都會使用的命令。這里指出兩個技巧。 ***個是
- print(df[:5].to_csv())
你可以使用此命令準(zhǔn)確地打印出寫入文件的前五行數(shù)據(jù)。
另一個技巧是處理混合在一起的整數(shù)和缺失值。如果列同時包含缺失值和整數(shù)，則數(shù)據(jù)類型仍將是float而不是int。導(dǎo)出表時，可以添加float_format ='%。0f'將所有浮點數(shù)舍入為整數(shù)。如果只想要所有列的整數(shù)輸出，請使用此技巧，你將擺脫所有令人苦惱的'.0'。
