IO在計算機中指的是Input/Output，也就是輸入輸出。凡是用到數(shù)據(jù)交換的地方，都會涉及IO編程，例如磁盤、網(wǎng)絡(luò)的數(shù)據(jù)傳輸。

在IO編程中，Stream(流)是一種重要的概念，分為輸入流(Input Stream)和輸出流(Output Stream)。我們可以把流理解為一個水管，數(shù)據(jù)相當(dāng)于水管中的水，但是只能單向流動，所以數(shù)據(jù)傳輸過程中需要架設(shè)兩個水管，一個負(fù)責(zé)輸入，一個負(fù)責(zé)輸出，這樣讀寫就可以實現(xiàn)同步。

本文主要講解磁盤IO操作。

 

01 文件讀寫

1. 打開文件

讀寫文件是最常見的IO操作。Python內(nèi)置了讀寫文件的函數(shù)，方便了文件的IO操作。

文件讀寫之前需要打開文件，確定文件的讀寫模式。open函數(shù)用來打開文件，語法如下：

open(name[.mode[.buffering]]) 

open函數(shù)使用一個文件名作為唯一的強制參數(shù)，然后返回一個文件對象。模式(mode)和緩沖區(qū)(buffering)參數(shù)都是可選的，默認(rèn)模式是讀模式，默認(rèn)緩沖區(qū)是無。

假設(shè)有個名為qiye.txt的文本文件，其存儲路徑是c:\text(或者是在Linux下的~/text)，那么可以像下面這樣打開文件。在交互式環(huán)境的提示符“>>>”下，輸入如下內(nèi)容：

>>> f = open(r'c:\text\qiye.txt') 

如果文件不存在，將會看到一個類似下面的異常回溯：

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
IOError: [Errno 2] No such file or directory: 'C:\\qiye.txt' 

2. 文件模式

下面主要說一下open函數(shù)中的mode參數(shù)，通過改變mode參數(shù)可以實現(xiàn)對文件的不同操作。

• 'r'：讀模式
• 'w'：寫模式
• 'a'：追加模式
• 'b'：二進制模式(可添加到其他模式中使用)
• '+'：讀/寫模式(可添加到其他模式中使用)

這里主要是提醒一下'b'參數(shù)的使用，一般處理文本文件時，是用不到'b'參數(shù)的，但處理一些其他類型的文件(二進制文件)，比如mp3音樂或者圖像，那么應(yīng)該在模式參數(shù)中增加'b'，這在爬蟲中處理媒體文件很常用。參數(shù)'rb'可以用來讀取一個二進制文件。

3. 文件緩沖區(qū)

open函數(shù)中第三個可選參數(shù)buffering控制著文件的緩沖。

如果參數(shù)是0，I/O操作就是無緩沖的，直接將數(shù)據(jù)寫到硬盤上;如果參數(shù)是1，I/O操作就是有緩沖的，數(shù)據(jù)先寫到內(nèi)存里，只有使用flush函數(shù)或者close函數(shù)才會將數(shù)據(jù)更新到硬盤;如果參數(shù)為大于1的數(shù)字則代表緩沖區(qū)的大小(單位是字節(jié))，-1(或者是任何負(fù)數(shù))代表使用默認(rèn)緩沖區(qū)的大小。

4. 文件讀取

文件讀取主要是分為按字節(jié)讀取和按行進行讀取，經(jīng)常用到的方法有read()、readlines()、close()。

在“>>>”輸入f = open(r'c:\text\qiye.txt')后，如果成功打開文本文件，接下來調(diào)用read()方法則可以一次性將文件內(nèi)容全部讀到內(nèi)存中，***返回的是str類型的對象：

>>> f.read() 
"qiye" 

***一步調(diào)用close()，可以關(guān)閉對文件的引用。文件使用完畢后必須關(guān)閉，因為文件對象會占用操作系統(tǒng)資源，影響系統(tǒng)的IO操作。

>>> f.close() 

由于文件操作可能會出現(xiàn)IO異常，一旦出現(xiàn)IO異常，后面的close()方法就不會調(diào)用。所以為了保證程序的健壯性，我們需要使用try ... finally來實現(xiàn)。

try: 
    f = open(r'c:\text\qiye.txt','r') 
    print f.read() 
finally: 
    if f: 
        f.close() 

上面的代碼略長，Python提供了一種簡單的寫法，使用with語句來替代try ... finally代碼塊和close()方法，如下所示：

with open(r'c:\text\qiye.txt','r') as fileReader: print fileReader.read()

調(diào)用read()一次將文件內(nèi)容讀到內(nèi)存，但是如果文件過大，將會出現(xiàn)內(nèi)存不足的問題。一般對于大文件，可以反復(fù)調(diào)用read(size)方法，一次最多讀取size個字節(jié)。如果文件是文本文件，Python提供了更加合理的做法，調(diào)用readline()可以每次讀取一行內(nèi)容，調(diào)用readlines()一次讀取所有內(nèi)容并按行返回列表。

大家可以根據(jù)自己的具體需求采取不同的讀取方式，例如小文件可以直接采取read()方法讀到內(nèi)存，大文件更加安全的方式是連續(xù)調(diào)用read(size)，而對于配置文件等文本文件，使用readline()方法更加合理。

將上面的代碼進行修改，采用readline()的方式實現(xiàn)如下所示：

with open(r'c:\text\qiye.txt','r') as fileReader: 
    print fileReader.read() 

5. 文件寫入

寫文件和讀文件是一樣的，唯一的區(qū)別是在調(diào)用open方法時，傳入標(biāo)識符'w'或者'wb'表示寫入文本文件或者寫入二進制文件，示例如下：

f = open(r'c:\text\qiye.txt','w') 
f.write('qiye') 
f.close() 

我們可以反復(fù)調(diào)用write()方法寫入文件，***必須使用close()方法來關(guān)閉文件。使用write()方法的時候，操作系統(tǒng)不是立即將數(shù)據(jù)寫入文件中的，而是先寫入內(nèi)存中緩存起來，等到空閑時候再寫入文件中，***使用close()方法就將數(shù)據(jù)完整地寫入文件中了。

當(dāng)然也可以使用f.flush()方法，不斷將數(shù)據(jù)立即寫入文件中，***使用close()方法來關(guān)閉文件。和讀文件同樣道理，文件操作中可能會出現(xiàn)IO異常，所以還是推薦使用with語句：

with open(r'c:\text\qiye.txt','w') as fileWriter: 
    fileWriter.write('qiye') 

02 操作文件和目錄

在Python中對文件和目錄的操作經(jīng)常用到os模塊和shutil模塊。接下來主要介紹一些操作文件和目錄的常用方法：

• 獲得當(dāng)前Python腳本工作的目錄路徑：

os.getcwd()。

• 返回指定目錄下的所有文件和目錄名：

os.listdir()。例如返回C盤下的文件：os.listdir("C:\\")

• 刪除一個文件：

os.remove(filepath)。

• 刪除多個空目錄：

os.removedirs(r"d:\python")。

• 檢驗給出的路徑是否是一個文件：

os.path.isfile(filepath)。

• 檢驗給出的路徑是否是一個目錄：

os.path.isdir(filepath)。

• 判斷是否是絕對路徑：

os.path.isabs()。

• 檢驗路徑是否真的存在：

os.path.exists()。例如檢測D盤下是否有Python文件夾：os.path.exists(r"d:\python")

• 分離一個路徑的目錄名和文件名：

os.path.split()。例如：os.path.split(r"/home/qiye/qiye.txt")，返回結(jié)果是一個元組：('/home/qiye', 'qiye.txt')。

• 分離擴展名：

os.path.splitext()。例如os.path.splitext(r"/home/qiye/qiye.txt")，返回結(jié)果是一個元組：('/home/qiye/qiye', '.txt')。

• 獲取路徑名：

os.path.dirname(filetpah)。

• 獲取文件名：

os.path.basename(filepath)。

• 讀取和設(shè)置環(huán)境變量：

os.getenv()與os.putenv()。

• 給出當(dāng)前平臺使用的行終止符：

os.linesep。Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'。

• 指示你正在使用的平臺：

os.name。對于Windows，它是'nt'，而對于Linux/Unix用戶，它是'posix'。

• 重命名文件或者目錄：

os.rename(old,new)。

• 創(chuàng)建多級目錄：

os.makedirs(r"c:\python\test")。

• 創(chuàng)建單個目錄：

os.mkdir("test")。

• 獲取文件屬性：

os.stat(file)。

• 修改文件權(quán)限與時間戳：

os.chmod(file)。

• 獲取文件大小：

os.path.getsize(filename)。

• 復(fù)制文件夾：

shutil.copytree("olddir","newdir")。olddir和newdir都只能是目錄，且newdir必須不存在。

• 復(fù)制文件：

shutil.copyfile("oldfile","newfile")，oldfile和newfile都只能是文件;shutil. copy("oldfile","newfile")，oldfile只能是文件，newfile可以是文件，也可以是目標(biāo)目錄。

• 移動文件(目錄)：

shutil.move("oldpos","newpos")。

• 刪除目錄：

os.rmdir("dir")，只能刪除空目錄;shutil.rmtree("dir")，空目錄、有內(nèi)容的目錄都可以刪。

 

03 序列化操作

對象的序列化在很多高級編程語言中都有相應(yīng)的實現(xiàn)，Python也不例外。程序運行時，所有的變量都是在內(nèi)存中的，例如在程序中聲明一個dict對象，里面存儲著爬取的頁面的鏈接、頁面的標(biāo)題、頁面的摘要等信息：

d = dict(url='index.html',title='首頁',content='首頁') 

在程序運行的過程中爬取的頁面的鏈接會不斷變化，比如把url改成了second.html，但是程序一結(jié)束或意外中斷，程序中的內(nèi)存變量都會被操作系統(tǒng)進行回收。

如果沒有把修改過的url存儲起來，下次運行程序的時候，url被初始化為index.html，又是從首頁開始，這是我們不愿意看到的。所以把內(nèi)存中的變量變成可存儲或可傳輸?shù)倪^程，就是序列化。

將內(nèi)存中的變量序列化之后，可以把序列化后的內(nèi)容寫入磁盤，或者通過網(wǎng)絡(luò)傳輸?shù)絼e的機器上，實現(xiàn)程序狀態(tài)的保存和共享。反過來，把變量內(nèi)容從序列化的對象重新讀取到內(nèi)存，稱為反序列化。

在Python中提供了兩個模塊：cPickle和pickle來實現(xiàn)序列化，前者是由C語言編寫的，效率比后者高很多，但是兩個模塊的功能是一樣的。一般編寫程序的時候，采取的方案是先導(dǎo)入cPickle模塊，如果此模塊不存在，再導(dǎo)入pickle模塊。示例如下：

try: 
    import cPickle as pickle 
except ImportError: 
    import pickle 

pickle實現(xiàn)序列化主要使用的是dumps方法或dump方法。dumps方法可以將任意對象序列化成一個str，然后可以將這個str寫入文件進行保存。在Python Shell中示例如下：

>>> import cPickle as pickle 
>>> d = dict(url='index.html',title='首頁',content='首頁') 
>>> pickle.dumps(d) 
"(dp1\nS'content'\np2\nS'\\xca\\xd7\\xd2\\xb3'\np3\nsS'url'\np4\nS'index.html'\np5\nsS'title'\np6\ng3\ns." 

如果使用dump方法，可以將序列化后的對象直接寫入文件中：

>>> f=open(r'D:\dump.txt','wb') 
>>> pickle.dump(d,f) 
>>> f.close() 

pickle實現(xiàn)反序列化使用的是loads方法或load方法。把序列化后的文件從磁盤上讀取為一個str，然后使用loads方法將這個str反序列化為對象，或者直接使用load方法將文件直接反序列化為對象，如下所示：

>>> f=open(r'D:\dump.txt','rb') 
>>> d=pickle.load(f) 
>>> f.close() 
>>> d 
{'content': '\xca\xd7\xd2\xb3', 'url': 'index.html', 'title': '\xca\xd7\xd2\xb3'} 

通過反序列化，存儲為文件的dict對象，又重新恢復(fù)出來，但是這個變量和原變量沒有什么關(guān)系，只是內(nèi)容一樣。以上就是序列化操作的整個過程。

假如我們想在不同的編程語言之間傳遞對象，把對象序列化為標(biāo)準(zhǔn)格式是關(guān)鍵，例如XML，但是現(xiàn)在更加流行的是序列化為JSON格式，既可以被所有的編程語言讀取解析，也可以方便地存儲到磁盤或者通過網(wǎng)絡(luò)傳輸。

作者：范傳輝

關(guān)于作者：范傳輝，資深網(wǎng)蟲，Python開發(fā)者，參與開發(fā)了多項網(wǎng)絡(luò)應(yīng)用，在實際開發(fā)中積累了豐富的實戰(zhàn)經(jīng)驗,并善于總結(jié)，貢獻了多篇技術(shù)文章廣受好評。研究興趣是網(wǎng)絡(luò)安全、爬蟲技術(shù)、數(shù)據(jù)分析、驅(qū)動開發(fā)等技術(shù)。

內(nèi)容摘編自《Python爬蟲開發(fā)與項目實戰(zhàn)》一書

 

首發(fā)于微信公眾號大數(shù)據(jù)(ID：hzdashuju)