尋找流量數據

下一個任務是估測每個博客每天得到的頁面瀏覽量。得到這樣的數據有各種方式，有免費的，也有付費的。在快速搜索之后，我決定基于簡單且免費的原因使用網站 www.statshow.com 來做。爬蟲將抓取這個網站，我們在前一步獲得的博客的 URL 將作為這個網站的輸入參數，獲得它們的流量信息。爬蟲的初始化是這樣的:

class TrafficSpider(scrapy.Spider): 
    name = 'traffic' 
    allowed_domains = ['www.statshow.com'] 
    def __init__(self, blogs_data): 
        super(TrafficSpider, self).__init__() 
        self.blogs_data = blogs_data 

blogs_data 應該是以下格式的詞典列表：{"rank": 70, "url": "www.stat.washington.edu"， "query": "Python"}。

請求構建函數如下：

def start_requests(self): 
    url_template = urllib.parse.urlunparse( 
        ['http', self.allowed_domains[0], '/www/{path}', '', '', '']) 
    for blog in self.blogs_data: 
        url = url_template.format(path=blog['url']) 
        request = SplashRequest(url, endpoint='render.html', 
                                args={'wait': 0.5}, meta={'blog': blog}) 
        yield request 

它相當的簡單，我們只是把字符串 /www/web-site-url/ 添加到 'www.statshow.com' URL 中。

現在讓我們看一下語法解析器是什么樣子的：

def parse(self, response): 
    site_data = response.xpath('//div[@id="box_1"]/span/text()').extract() 
    views_data = list(filter(lambda r: '$' not in r, site_data)) 
    if views_data: 
        blog_data = response.meta.get('blog') 
        traffic_data = { 
            'daily_page_views': int(views_data[0].translate({ord(','): None})), 
            'daily_visitors': int(views_data[1].translate({ord(','): None})) 
        } 
        blog_data.update(traffic_data) 
        yield blog_data 

與博客解析程序類似，我們只是通過 StatShow 示例的返回頁面，然后找到包含每日頁面瀏覽量和每日訪問者的元素。這兩個參數都確定了網站的受歡迎程度，對于我們的分析只需要使用頁面瀏覽量即可 。

第二部分：分析

這部分是分析我們搜集到的所有數據。然后，我們用名為 Bokeh 的庫來可視化準備好的數據集。我在這里沒有給出運行器和可視化的代碼，但是它可以在 GitHub repo 中找到，包括你在這篇文章中看到的和其他一切東西。

• 最初的結果集含有少許偏離過大的數據，(如 google.com、linkedin.com、Oracle.com 等)。它們顯然不應該被考慮。即使其中有些有博客，它們也不是針對特定語言的。這就是為什么我們基于這個 StackOverflow 回答 中所建議的方法來過濾異常值。

語言流行度比較

首先，讓我們對所有的語言進行直接的比較，看看哪一種語言在前 100 個博客中有最多的瀏覽量。

這是能進行這個任務的函數：

def get_languages_popularity(data): 
    query_sorted_data = sorted(data, key=itemgetter('query')) 
    result = {'languages': [], 'views': []} 
    popularity = [] 
    for k, group in groupby(query_sorted_data, key=itemgetter('query')): 
        group = list(group) 
        daily_page_views = map(lambda r: int(r['daily_page_views']), group) 
        total_page_views = sum(daily_page_views) 
        popularity.append((group[0]['query'], total_page_views)) 
    sorted_popularity = sorted(popularity, key=itemgetter(1), reverse=True) 
    languages, views = zip(*sorted_popularity) 
    result['languages'] = languages 
    result['views'] = views 
    return result 

在這里，我們首先按語言(詞典中的關鍵字“query”)來分組我們的數據，然后使用 python 的 groupby 函數，這是一個從 SQL 中借來的奇妙函數，從我們的數據列表中生成一組條目，每個條目都表示一些編程語言。然后，在第 14 行我們計算每一種語言的總頁面瀏覽量，然后添加 ('Language', rank) 形式的元組到 popularity 列表中。在循環之后，我們根據總瀏覽量對流行度數據進行排序，并將這些元組展開到兩個單獨的列表中，然后在 result 變量中返回它們。

• 最初的數據集有很大的偏差。我檢查了到底發生了什么，并意識到如果我在 blogsearchengine.org 上查詢“C”，我就會得到很多無關的鏈接，其中包含了 “C” 的字母。因此，我必須將 C 排除在分析之外。這種情況幾乎不會在 “R” 和其他類似 C 的名稱中出現：“C++”、“C”。

因此，如果我們將 C 從考慮中移除并查看其他語言，我們可以看到如下圖:

評估結論：Java 每天有超過 400 萬的瀏覽量，PHP 和 Go 有超過 200 萬，R 和 JavaScript 也突破了百萬大關。

每日網頁瀏覽量與谷歌排名

現在讓我們來看看每日訪問量和谷歌的博客排名之間的聯系。從邏輯上來說，不那么受歡迎的博客應該排名靠后，但這并沒那么簡單，因為其他因素也會影響排名，例如，如果在人氣較低的博客上的文章更新一些，那么它很可能會首先出現。

數據準備工作以下列方式進行：

def get_languages_popularity(data): 
    query_sorted_data = sorted(data, key=itemgetter('query')) 
    result = {'languages': [], 'views': []} 
    popularity = [] 
    for k, group in groupby(query_sorted_data, key=itemgetter('query')): 
        group = list(group) 
        daily_page_views = map(lambda r: int(r['daily_page_views']), group) 
        total_page_views = sum(daily_page_views) 
        popularity.append((group[0]['query'], total_page_views)) 
    sorted_popularity = sorted(popularity, key=itemgetter(1), reverse=True) 
    languages, views = zip(*sorted_popularity) 
    result['languages'] = languages 
    result['views'] = views 
    return result 

該函數接受爬取到的數據和需要考慮的語言列表。我們對這些數據以語言的流行程度進行排序。后來，在類似的語言分組循環中，我們構建了 (rank, views_number) 元組(從 1 開始的排名)被轉換為 2 個單獨的列表。然后將這一對列表寫入到生成的字典中。

前 8 位 GitHub 語言(除了 C)是如下這些：

評估結論：我們看到，所有圖的 PCC (皮爾遜相關系數)都遠離 1/-1，這表示每日瀏覽量與排名之間缺乏相關性。值得注意的是，在大多數圖表(8 個中的 7 個)中，相關性是負的，這意味著排名的降低會導致瀏覽量的減少。

結論

因此，根據我們的分析，Java 是目前***的編程語言，其次是 PHP、Go、R 和 JavaScript。在日常瀏覽量和谷歌排名上，排名前 8 的語言都沒有很強的相關性，所以即使你剛剛開始寫博客，你也可以在搜索結果中獲得很高的評價。不過，成為熱門博客究竟需要什么，可以留待下次討論。

這些結果是相當有偏差的，如果沒有更多的分析，就不能過分的考慮這些結果。首先，在較長的一段時間內收集更多的流量信息，然后分析每日瀏覽量和排名的平均值(中值)值是一個好主意。也許我以后還會再回來討論這個。