Python 的十個文件對比與合并高效策略
作者：手把手PythonAI編程
本文我們將逐步探索十種高效的文件對比與合并策略，每一步都配有詳細的代碼示例和解釋。
在日常編程或數據分析工作中，經常需要處理多個文件的對比與合并任務。Python因其強大的文件處理能力和豐富的庫支持，成為了處理這類任務的理想選擇。下面，我們將逐步探索10種高效的文件對比與合并策略，每一步都配有詳細的代碼示例和解釋。
1. 基礎文件讀寫
首先，了解如何讀取和寫入文件是基礎。
# 讀取文件
with open('file1.txt', 'r') as file1:
data1 = file1.readlines()
# 寫入文件
with open('merged.txt', 'w') as merged_file:
for line in data1:
merged_file.write(line)2. 文件內容對比
使用difflib庫來對比兩個文件的差異。
import difflib
with open('file1.txt', 'r') as file1, open('file2.txt', 'r') as file2:
diff = difflib.unified_diff(file1.readlines(), file2.readlines())
print('\n'.join(diff))3. 基于行的合并
當文件基于相同行結構合并時，可以直接遍歷追加。
data = []
for filename in ['file1.txt', 'file2.txt']:
with open(filename, 'r') as file:
data.extend(file.readlines())
with open('merged.txt', 'w') as merged_file:
for line in data:
merged_file.write(line)4. 去重合并
利用集合去除重復行后合并。
unique_lines = set()
for filename in ['file1.txt', 'file2.txt']:
with open(filename, 'r') as file:
unique_lines.update(file.readlines())
with open('merged_unique.txt', 'w') as merged_file:
for line in sorted(unique_lines): # 排序確保一致的輸出順序
merged_file.write(line)5. CSV文件合并
對于CSV文件，可以使用pandas庫。
import pandas as pd
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
# 假設合并依據為相同的列名
merged_df = pd.concat([df1, df2], ignore_index=True)
merged_df.to_csv('merged.csv', index=False)6. 按列合并CSV
特定列的合并，例如通過共同鍵連接。
merged_df = pd.merge(df1, df2, on='common_key', how='outer')
merged_df.to_csv('merged_by_key.csv', index=False)7. 大文件高效對比
對于大文件，逐行讀取對比以節省內存。
with open('large_file1.txt', 'r') as f1, open('large_file2.txt', 'r') as f2:
for line1, line2 in zip(f1, f2):
if line1 != line2:
print("Difference found!")
break8. 文本文件的二進制對比
使用filecmp模塊比較文件的二進制內容。
import filecmp
if filecmp.cmp('file1.txt', 'file2.txt'):
print("Files are identical.")
else:
print("Files differ.")9. 動態合并多個文件
使用循環動態合并多個文件路徑列表中的文件。
file_paths = ['file{}.txt'.format(i) for i in range(1, 4)] # 假設有file1.txt到file3.txt
with open('merged_all.txt', 'w') as merged:
for path in file_paths:
with open(path, 'r') as file:
merged.write(file.read() + '\n') # 添加換行符區分不同文件的內容10. 高級合并策略：智能合并
如果合并依據更復雜，如按日期或ID排序合并，可以先對數據進行排序處理。
# 假設是CSV且按日期列排序合并
dfs = [pd.read_csv(f) for f in ['file1.csv', 'file2.csv']]
sorted_df = pd.concat(dfs).sort_values(by='date_column') # 假定'date_column'是日期列
sorted_df.to_csv('smart_merged.csv', index=False)進階技巧和場景
11. 使用正則表達式進行復雜文本處理
在合并或對比前，可能需要對文件內容進行預處理，例如提取特定模式的數據。
import re
pattern = r'(\d{4}-\d{2}-\d{2})' # 假設提取日期模式
lines_with_dates = []
with open('source.txt', 'r') as file:
for line in file:
match = re.search(pattern, line)
if match:
lines_with_dates.append(match.group(0))
# 假設你想將提取的信息寫入新文件
with open('dates_extracted.txt', 'w') as out_file:
for date in lines_with_dates:
out_file.write(date + '\n')12. 并行處理大文件對比
對于超大文件，可以利用多線程或多進程提高效率，但需注意文件訪問沖突。
from multiprocessing import Pool
import os
def compare_lines(line1, line2):
return line1 == line2
if __name__ == "__main__":
with open('file1.txt', 'r') as f1, open('file2.txt', 'r') as f2:
lines_f1 = f1.readlines()
lines_f2 = f2.readlines()
with Pool(os.cpu_count()) as p: # 使用CPU核心數作為進程數
results = p.map(compare_lines, zip(lines_f1, lines_f2))
# results是一個布爾值列表，表示對應行是否相同13. 特殊格式文件的合并
例如XML文件，可以使用xml.etree.ElementTree進行解析合并。
import xml.etree.ElementTree as ET
root1 = ET.parse('file1.xml').getroot()
root2 = ET.parse('file2.xml').getroot()
for child in root2:
root1.append(child)
tree = ET.ElementTree(root1)
tree.write('merged.xml')14. 實時監控文件變化并合并
利用watchdog庫監控文件變化，自動執行合并操作。
安裝watchdog:
pip install watchdog示例腳本：
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
import time
class MyHandler(FileSystemEventHandler):
def on_modified(self, event):
if event.is_directory:
return
# 在這里實現你的文件合并邏輯
print(f'Event type: {event.event_type} path : {event.src_path}')
if __name__ == "__main__":
event_handler = MyHandler()
observer = Observer()
observer.schedule(event_handler, path='.', recursive=False)
observer.start()
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()結語
通過這些高級策略和技巧，你可以更加靈活和高效地處理各種文件對比與合并的需求。
責任編輯：趙寧寧
來源：
手把手PythonAI編程
