用Python分析大連景點，告訴你哪些景點性價比高

作者：志斌 2021-09-06 11:57:30

去哪兒網的數據存儲非常簡單，都在源網頁中靜態存儲，我們只需構造好URL之后，用Requests發起請求，然后用Bs4將數據提取出來，存儲到Excel中即可。

[[422047]]

本文轉載自微信公眾號「志斌的python筆記」，作者志斌。轉載本文請聯系志斌的python筆記公眾號。

大家好，我是志斌~

再過幾天，志斌就要去大連開始為期三年的讀研生活啦，當然在讀書學習的同時，也要去體驗一下“魅力之都”的魅力，所以志斌用Python爬取了去哪兒網上大連景點的相關數據，包括景點名稱、城區、熱度、價格、月銷量等數據，對數據進行可視化并作簡單分析，用以找到性價比較高的景點。

一數據采集

去哪兒網的數據存儲非常簡單，都在源網頁中靜態存儲，我們只需構造好URL之后，用Requests發起請求，然后用Bs4將數據提取出來，存儲到Excel中即可。

爬蟲的核心代碼如下：

import requests 
from bs4 import BeautifulSoup 
import openpyxl 
 
for page in range(1,50): 
  try: 
      params = ( 
          ('from', 'mps_search_suggest_h'), 
          ('keyword', '大連'), 
          ('page', str(page)), 
      ) 
      response = requests.get('https://piao.qunar.com/ticket/list_%E8%A5%BF%E5%AE%89.html', headers=headers, params=params) 
      soup = BeautifulSoup(response.text,'html.parser') 
      zongs = soup.find_all('div',class_='sight_item') 
      for i in zongs: 
          name = i.find('h3').text 
          diqu = i.find(class_='area').find('a').text 
          redu = round(float(i.find(class_='product_star_level').text.split()[-1][:4]) * 5, 2) 
        dizhi = re.findall('地址：(.*?)地圖', i.find(class_='address color999').text)[0] 
          jiage = float(i.find(class_='sight_item_price').find('em').text) 
          yuexiao = int(i.find(class_='sight_item_sold-num').find('span').text) 
          xingji = i.find(class_='level') 
          jingweidu = i['data-point'] 
          ~~~

二數據處理

01導入景點數據

用pandas讀取爬取的景點數據并預覽。

import pandas as pd 
df = pd.read_excel('大連景區數據_1.xlsx',names=['景點名稱','城區','熱度','地址','價格','月銷量','星級','經度','緯度']) 
print(df.head())

02刪除重復數據

網站中有一定的重復數據，需要將其刪除。

df = df.drop_duplicates()

03查看數據信息

查看字段類型和缺失值情況，符合分析需要，無需另做處理。

df.info()

三可視化分析

我們來對這164個景點數據進行可視化分析。

01景點介紹

通過對大連景點介紹進行詞云圖繪制，我們很容易看出大連的特點。博物館、休閑、歷史、文化等詞的大量提及，說明大連是一座歷史悠久的現代化城市。建筑、動物、主題等詞也有很多提及，表明大連的旅游環境輕松且多樣。

代碼如下：

with open("推薦語.txt",) as f: 
   job_title_1 = f.read() 
contents_cut_job_title = jieba.cut(job_title_1) 
contents_list_job_title = " ".join(contents_cut_job_title) 
wc = WordCloud(stopwords=STOPWORDS.add("一個"), collocations=False, 
              background_color="white", 
              font_path=r"K:\msyh.ttc", 
              width=400, height=300, random_state=42, 
              mask=imread('xin.jpg', pilmode="RGB") 
              ) 
wc.generate(contents_list_job_title) 
wc.to_file("推薦語.png")