Python 地址文本分析：提取省市縣行政區信息
作者：ant
通過百度地圖開放平臺的API，在地址查詢經緯度后可以通過經緯度來獲得地址所在的省市縣的信息。除此之外，我們還可以通過文本分析的方法，直接通過地址來獲得省市縣的信息，這樣速度更快，而且也不需要收到API每天300w限量的約束。
Python 地址文本分析：提取省市縣行政區信息
通過百度地圖開放平臺的API，在地址查詢經緯度后可以通過經緯度來獲得地址所在的省市縣的信息。除此之外，我們還可以通過文本分析的方法，直接通過地址來獲得省市縣的信息，這樣速度更快，而且也不需要收到API每天300w限量的約束。地址文本分析是一個非常常見的需求，如何從復雜的地址信息中高效、準確地提取關鍵的行政區劃信息呢?我們將介紹一個基于 jionlp 的方法，并深入解析相關代碼。
代碼功能
本代碼主要完成以下功能：
1. 從 .dta 文件中讀取數據;
2. 使用 jionlp 對地址進行解析，提取省市縣信息;
3. 分塊處理數據，確保大數據量下的穩定運行;
4. 對每次處理的結果進行中間存儲，確保數據處理的可恢復性。
代碼解析
接下來，我們詳細解析代碼的每一部分：
## Python 地址文本分析代碼解讀
```python
# 導入必要的庫
import os
import pandas as pd
import jionlp as jio
# 設置數據路徑，并指定要讀取的字段
data_path = "I:\\baiduAPI\\move_address\\cleaned_move_addr.dta"
use_cols = ['id', 'date', 'unified_code', 'new_address', 'old_address']
# 使用 pandas 讀取 .dta 格式的數據
df = pd.read_stata(data_path, columns=use_cols) # 僅讀取指定列，節省內存
# 定義地址解析函數，輸入是 DataFrame 的每一行
def extract_location_info(row):
# 循環處理 'new_address' 和 'old_address' 兩個字段
for column, prefix in [('new_address', 'new'), ('old_address', 'old')]:
address = row[column]
try:
# 使用 jionlp 進行地址解析
result = jio.parse_location(address)
# 根據解析結果更新當前行的省、市、縣字段
row[f'{prefix}_province'] = result.get('province', None)
row[f'{prefix}_city'] = result.get('city', None)
row[f'{prefix}_county'] = result.get('county', None)
# 打印處理成功的信息
print(f"Processing {column} for ID {row['id']} - Success!")
except Exception as e:
# 如果解析出錯，將對應字段設置為 None
row[f'{prefix}_province'] = None
row[f'{prefix}_city'] = None
row[f'{prefix}_county'] = None
# 打印處理失敗的信息
print(f"Processing {column} for ID {row['id']} - Failed! Error: {e}")
return row # 返回處理后的行
# 設置每次處理的數據塊大小，有助于節省內存
chunk_size = 500000
for i in range(0, len(df), chunk_size): # 按照 chunk_size 大小分塊處理數據
# 定義每塊數據的臨時輸出路徑
temp_output_path = f"I:\\baiduAPI\\temp_processed_move_address_{i//chunk_size + 1}.csv"
# 檢查臨時文件是否已存在，如果存在則跳過，實現斷點續傳功能
if os.path.exists(temp_output_path):
print(f"Chunk {i//chunk_size + 1} already processed. Skipping...")
continue
# 截取當前塊的數據
df_chunk = df.iloc[i:i+chunk_size]
# 對當前塊的數據應用地址解析函數
df_chunk = df_chunk.apply(extract_location_info, axis=1)
# 將處理后的數據保存到臨時 CSV 文件
df_chunk.to_csv(temp_output_path, index=False, encoding='utf-8-sig')
# 打印保存信息
print(f"Saved processed data to: {temp_output_path}")
# 定義最終的輸出路徑
output_path = "I:\\baiduAPI\\processed_move_address.csv"
# 讀取所有臨時文件并合并
df = pd.concat([pd.read_csv(f"I:\\baiduAPI\\temp_processed_move_address_{i//chunk_size + 1}.csv", encoding='utf-8-sig') for i in range(0, len(df), chunk_size)], ignore_index=True)
# 將合并后的數據保存為 CSV 文件
df.to_csv(output_path, index=False, encoding='utf-8-sig')
# 打印完成信息
print("\nProcessing completed and saved to:", output_path)代碼優勢
1. 高效解析：利用 jionlp 包，我們可以快速、準確地對地址進行解析。
2. 分塊處理：當處理大規模數據時，分塊處理可以有效減少內存消耗，確保代碼的穩定運行。
3. 中間結果保存：代碼可以將每塊數據的處理結果分別保存，即使中途出現異常，也能從斷點處繼續，大大提高了數據處理的魯棒性。
4. 異常處理：對于可能出現的異常地址格式，代碼能夠捕捉異常并進行相應的處理，確保整體流程不會因單個錯誤而中斷。
結語
通過這篇文章，我們了解了如何利用 jionlp 對地址進行解析，并針對大規模數據進行穩定、高效的處理。這種方法不僅適用于地址文本分析，還可以應用于其他文本數據處理任務，展現了 Python 在數據處理方面的強大能力。
責任編輯：華軒
來源：
PaperCodeTips
