想要高效讀寫文件嗎？Python的Mmap()函數或許可以解決你的問題
文本文件的追加和截斷
文件追加的概念和應用
在某些場景下，我們需要對已有的文件進行修改，常見的方式是打開文件后將新的內容寫入，這會覆蓋掉原來的內容。但如果想保留原文件的內容并在其末尾添加新的內容，就需要用到文件追加操作。文件追加是指向一個已存在的文件末尾添加新的內容，并且不影響原先的內容。
使用 a 模式打開文本文件進行追加操作
Python中使用 open() 函數打開文件時，可以通過設置文件模式參數來指定文件的操作方式。其中，a 模式表示以追加的方式打開文件，即將新的內容添加到文件末尾。
with open('file.txt', 'a') as f:
f.write('Hello, world!\n')在上述代碼中，我們打開了一個名為 file.txt 的文件，并使用 a 模式將字符串 'Hello, world!\n' 寫入文件末尾。需要注意的是，在使用 a 模式時，如果文件不存在，則會自動創建新文件。
truncate 方法實現文本文件截斷
除了在文件末尾追加新內容之外，我們有時還需要對文件進行截斷操作，即只保留文件前幾行或前幾個字符，而舍棄文件中后面的內容。Python中提供了 truncate() 方法來實現這一功能。truncate() 方法可以指定文件的長度（以字節為單位），使文件中多余的部分被刪除掉，從而實現文件截斷。
with open('file.txt', 'r+') as f:
f.seek(0) # 將文件指針移到文件開頭位置
f.truncate(10) # 截斷文件，保留前10個字符在上述代碼中，我們首先使用 r+ 模式打開文件，并將文件指針移到文件開頭位置，然后使用 truncate() 方法截斷文件，并指定保留文件前10個字符。需要注意的是，在使用 truncate() 方法時，必須以讀寫模式打開文件，否則會拋出異常。
示例代碼
下面是一個完整的示例代碼，演示了如何使用 a 模式打開文件追加內容，并使用 truncate() 方法截斷文件。
def append_and_truncate():
with open('file.txt', 'a') as f:
f.write('Hello, world!\n')
with open('file.txt', 'r+') as f:
f.seek(0)
f.truncate(10)
with open('file.txt', 'r') as f:
print(f.read())在上述代碼中，我們首先使用 a 模式打開文件 file.txt 并寫入一行文本，然后再以 r+ 模式打開同一文件進行截斷操作，保留前10個字符。最后，我們以只讀模式打開文件并打印其內容，結果應該如下所示：
Hello, worlwith 語句原理
with 語句的作用和優勢
with語句是Python提供的一種簡化文件操作的語法結構，其作用是在文件使用完后自動關閉文件，避免了手動關閉文件時可能出現的錯誤。除了文件操作之外，with語句還可以用于其他資源的管理，例如網絡連接、數據庫連接等。
with open('file.txt', 'r') as f:
data = f.read()在上述代碼中，我們使用 with 語句打開文件 file.txt 并讀取其中的內容，這樣即使在處理文件過程中出現異常，Python也會自動關閉文件，避免了文件資源泄露的問題。可以看到，使用 with 語句可以讓代碼更加簡潔和優雅。
with 語句原理及其底層實現
with語句的實現原理是基于上下文管理器（context manager）的概念。上下文管理器是一個對象，它定義了進入和退出某個上下文時要執行的操作。使用 with 語句時，必須將一個支持上下文管理器協議的對象傳遞給它，然后 with 語句會在進入和退出上下文時自動調用該對象的 enter() 和 exit() 方法。
class File:
def __init__(self, filename):
self.filename = filename
def __enter__(self):
print('Enter')
self.file = open(self.filename, 'r')
return self.file
def __exit__(self, exc_type, exc_value, traceback):
print('Exit')
self.file.close()
with File('file.txt') as f:
data = f.read()在上述代碼中，我們定義了一個名為 File 的上下文管理器，并實現了其 enter() 和 exit() 方法。在 with 語句中使用 File 對象時，Python會自動調用其 enter() 方法打開文件，并在代碼塊執行完畢后調用 exit() 方法關閉文件。
示例代碼
下面是一個完整的示例代碼，演示了如何使用 with 語句打開文件并讀取其中的內容。
class File:
def __init__(self, filename):
self.filename = filename
def __enter__(self):
self.file = open(self.filename, 'r')
return self.file
def __exit__(self, exc_type, exc_value, traceback):
self.file.close()
def read_file():
with File('file.txt') as f:
data = f.read()
print(data)
if __name__ == '__main__':
read_file()在上述代碼中，我們定義了一個名為 File 的上下文管理器，并在 read_file() 函數中使用 with 語句打開文件 file.txt 并讀取其中的內容，然后自動關閉文件。需要注意的是，在 with 語句中打開文件時，必須指定文件模式參數，并且不能使用 a 模式進行追加操作。
seek 和 tell 方法
seek 和 tell 方法的作用和區別
在Python中，文件對象提供了兩個基本方法來控制文件指針的位置：seek() 和 tell()。其中，seek() 方法用于將文件指針移到文件的任意位置，而 tell() 方法則返回當前文件指針的位置。
with open('file.txt', 'r') as f:
data = f.read(10) # 讀取前10個字符
pos = f.tell() # 獲取當前文件指針位置
f.seek(0) # 將文件指針移到文件開頭位置
data2 = f.read(10) # 重新讀取前10個字符
print(pos)
print(data2)在上述代碼中，我們使用 with 語句打開文件 file.txt 并讀取其中的前10個字符，然后獲取當前文件指針的位置，并將文件指針移到文件開頭位置，最后重新讀取前10個字符。需要注意的是，在使用 seek() 方法時，必須以二進制模式打開文件。
文件指針和偏移量的概念和使用方法
文件指針是一個表示當前讀寫位置的指針，它指向文件中下一個要讀取或寫入的字節的位置。在Python中，文件指針的位置可以通過 tell() 方法獲取，并且可以使用 seek() 方法將其設置為任意位置。seek() 方法接受一個整數參數，代表相對于文件開頭的偏移量（以字節為單位），并可指定偏移量的起始位置（0表示文件開頭，1表示當前位置，2表示文件末尾）。
with open('file.txt', 'r') as f:
f.seek(5) # 將文件指針移到第6個字符處
data = f.read() # 從第6個字符開始讀取文件內容在上述代碼中，我們使用 seek() 方法將文件指針移到第6個字符處，然后讀取從該位置開始的文件內容。
實現隨機訪問和修改文件內容
由于可以通過 seek() 方法將文件指針移到文件的任意位置，因此可以實現隨機訪問文件內容。例如，我們可以通過 seek() 方法將文件指針移到某一行的開頭位置，然后讀取該行的內容。類似地，我們也可以使用 seek() 和 write() 方法來修改文件的特定位置。
with open('file.txt', 'r+') as f:
f.seek(5) # 將文件指針移到第6個字符處
f.write('WORLD') # 將字符 WORLD 插入到文件中
f.seek(0) # 將文件指針移到文件開頭位置
data = f.read() # 重新讀取文件內容
print(data)在上述代碼中，我們使用 r+ 模式打開文件 file.txt，并將文件指針移到第6個字符處，然后使用 write() 方法向文件中插入字符串 'WORLD'。最后，我們再次將文件指針移到文件開頭位置并讀取文件的全部內容，輸出結果應該為：
HelloWORLD, how are you?示例代碼
下面是一個完整的示例代碼，演示了如何使用 seek() 和 tell() 方法實現隨機訪問和修改文件內容。
def random_access():
with open('file.txt', 'r+') as f:
f.seek(5)
f.write('WORLD')
f.seek(0)
data = f.read()
print(data)
if __name__ == '__main__':
random_access()在上述代碼中，我們首先使用 r+ 模式打開文件 file.txt 并將文件指針移到第6個字符處，然后使用 write() 方法插入字符串 'WORLD'。最后，我們重新將文件指針移到文件開頭位置并讀取文件的全部內容，輸出結果應該為：
HelloWORLD, how are you?內存映射文件（mmap）
mmap 的作用和優勢
Python中提供了一種特殊的文件操作方式，稱為內存映射文件（mmap）。內存映射文件是一種將文件內容映射到內存中的技術，它允許我們通過內存來讀寫文件內容，從而避免了頻繁訪問磁盤的開銷。同時，內存映射文件還可以讓我們像處理數組一樣高效地對文件進行隨機訪問和修改。在處理大型二進制文件時，內存映射文件非常有用。
mmap 原理及其底層實現
在Python中，使用 mmap() 函數可以將一個文件對象映射到內存中，從而生成一個內存映射文件對象。內存映射文件對象具有文件對象的所有方法，例如 read()、write()、seek() 等，并且也可以像操作數組一樣進行隨機訪問和修改。
import mmap
with open('file.bin', 'r+b') as f:
mm = mmap.mmap(f.fileno(), 0)
# 讀取前10個字節
data1 = mm[:10]
print(data1)
# 修改前5個字節
mm[:5] = b'Hello'
# 查找字符串
pos = mm.find(b'world')
print(pos)
# 替換字符串
mm[pos:pos+5] = b'WORLD'
# 關閉內存映射文件
mm.close()在上述代碼中，我們使用 mmap() 函數將文件 file.bin 映射到內存中，并獲取了一個內存映射文件對象 mm。然后，我們可以像處理數組一樣對內存映射文件進行讀寫操作。例如，我們可以使用切片符號 [:] 來讀取文件的前10個字節，使用 find() 方法查找特定字符串的位置，并使用切片符號來替換字符串中的部分內容。最后，我們調用 close() 方法關閉內存映射文件。
注意事項
在使用 mmap() 函數時，需要注意以下幾點：
- 內存映射文件只能用于二進制文件的處理，不支持文本模式。
- 內存映射文件是通過共享內存實現的，在修改文件內容時需要注意并發訪問問題，否則可能導致數據損壞或進程掛起。
- 在某些操作系統上，如果文件長度超過了可用的虛擬內存大小，則無法創建內存映射文件對象。
由于 Python 的 mmap() 函數依賴于底層操作系統的 mmap() 系統調用，因此其行為和性能可能在不同的操作系統上有所不同。在編寫使用 mmap() 函數的代碼時，通常需要對其進行測試和優化，以確保其在特定平臺上的表現符合預期。
示例代碼
下面是一個完整的示例代碼，演示了如何使用 mmap() 函數創建內存映射文件對象，并對其進行讀寫操作。
import mmap
def memory_map():
with open('file.bin', 'r+b') as f:
# 將文件映射到內存中
mm = mmap.mmap(f.fileno(), 0)
# 讀取前10個字節
data1 = mm[:10]
print(data1)
# 修改前5個字節
mm[:5] = b'Hello'
# 查找字符串
pos = mm.find(b'world')
print(pos)
# 替換字符串
mm[pos:pos+5] = b'WORLD'
# 關閉內存映射文件
mm.close()
if __name__ == '__main__':
memory_map()在上述代碼中，我們使用 mmap() 函數將文件 file.bin 映射到內存中，并獲取了一個內存映射文件對象 mm。然后，我們可以像處理數組一樣對內存映射文件進行讀寫操作。最后，我們調用 close() 方法關閉內存映射文件。
大文件分塊讀取
當需要處理大型文件時，可能會遇到內存不足的問題。為了解決這個問題，我們可以將文件分成多個塊進行讀取和處理。這樣可以避免一次性將整個文件讀入內存，從而降低內存的使用量。在 Python 中，我們可以使用生成器來實現大文件分塊讀取。
生成器函數實現大文件分塊讀取
def read_in_chunks(file_obj, chunk_size=1024):
"""生成器函數：分塊讀取文件"""
while True:
data = file_obj.read(chunk_size)
if not data:
break
yield data在上述代碼中，我們定義了一個生成器函數 read_in_chunks()，該函數接受兩個參數：文件對象和塊大小。在函數體內，我們使用 while 循環從文件中讀取指定大小的數據塊，并將其作為生成器對象的返回值。如果讀取完整個文件，則退出循環并返回最后一塊數據。
使用生成器函數讀取大文件
with open('large_file.txt', 'r') as f:
for chunk in read_in_chunks(f, chunk_size=1024):
process_data(chunk)在上述代碼中，我們使用 with 語句打開文件 large_file.txt，并循環讀取文件的分塊數據。每次循環迭代時，處理函數 process_data() 將會被調用，并將當前的數據塊作為參數傳遞進去。這樣，在整個文件讀取完成后，我們可以在 process_data() 函數內部處理所有的數據。
注意事項
需要注意以下幾點：
- 在使用生成器函數處理大型文件時，需要根據實際情況選擇合適的塊大小。如果塊的大小太小，則會增加系統的調用次數；如果塊的大小太大，則可能會導致內存溢出。
- 如果在處理文件結束后沒有顯式地關閉文件對象，則可能會導致資源泄漏或其他問題。
- 在某些操作系統上，如果文件長度超過了可用的虛擬內存大小，則可能無法完整讀取文件。
示例代碼
下面是一個完整的示例代碼，演示了如何使用生成器函數實現大文件分塊讀取。
def read_in_chunks(file_obj, chunk_size=1024):
"""生成器函數：分塊讀取文件"""
while True:
data = file_obj.read(chunk_size)
if not data:
break
yield data
def process_data(data):
"""處理函數：輸出數據塊的長度"""
print(len(data))
if __name__ == '__main__':
with open('large_file.txt', 'r') as f:
for chunk in read_in_chunks(f, chunk_size=1024):
process_data(chunk)在上述代碼中，我們定義了一個生成器函數 read_in_chunks()，用于分塊讀取文件；另外還定義了一個處理函數 process_data()，用于輸出數據塊的長度。最后，在主程序中，我們使用 with 語句打開文件 large_file.txt 并循環讀取文件的分塊數據，并將其作為參數傳遞給 process_data() 函數進行處理。
