10行Python代碼的詞云
什么是詞云呢?
詞云又叫文字云，是對文本數(shù)據(jù)中出現(xiàn)頻率較高的“關鍵詞”在視覺上的突出呈現(xiàn)，形成關鍵詞的渲染形成類似云一樣的彩色圖片，從而一眼就可以領略文本數(shù)據(jù)的主要表達意思。
現(xiàn)在，可以從網(wǎng)絡上找到各種各樣的詞云，下面一圖來自沈浩老師的微博：
從百度圖片中還可以可以看到更多制作好的詞云，部分截圖如下：
詞云制作有很多工具.....
從技術上來看，詞云是一種有趣的數(shù)據(jù)可視化方法，互聯(lián)網(wǎng)上有很多現(xiàn)成的工具：
- Wordle是一個用于從文本生成詞云圖而提供的游戲工具
- Tagxedo 可以在線制作個性化詞云
- Tagul 是一個 Web 服務，同樣可以創(chuàng)建華麗的詞云
- Tagcrowd 還可以輸入web的url，直接生成某個網(wǎng)頁的詞云
- ......
十行代碼
但是作為一個老碼農(nóng)，還是喜歡自己用代碼生成自己的詞云，復雜么?需要很長時間么? 很多文字都介紹過各種的方法，但實際上只需要10行python代碼即可。
- import matplotlib.pyplot as plt
- from wordcloud import WordCloud
- import jieba
- text_from_file_with_apath = open('/Users/hecom/23tips.txt').read()
- wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
- wl_space_split = " ".join(wordlist_after_jieba)
- my_wordcloud = WordCloud().generate(wl_space_split)
- plt.imshow(my_wordcloud)
- plt.axis("off")
- plt.show()
如此而已，生成的一個詞云是這樣的：
讀一下這10行代碼：
- 1～3 行，分別導入了畫圖的庫matplotlib，詞云生成庫wordcloud 和 jieba的分詞庫;
- 4 行，是讀取本地的文件,代碼中使用的文本是本公眾號中的《老曹眼中研發(fā)管理二三事》。
- 5～6 行，使用jieba進行分詞，并對分詞的結(jié)果以空格隔開;
- 7行，對分詞后的文本生成詞云;
- 8～10行，用pyplot展示詞云圖。
這是我喜歡python的一個原因吧，簡潔明快。
執(zhí)行環(huán)境
如果這十行代碼沒有運行起來，需要檢查自己的執(zhí)行環(huán)境了。對于完整的開發(fā)學習環(huán)境，可以參考本公眾號《老曹眼中的開發(fā)學習環(huán)境》。 對于面向python 的數(shù)據(jù)分析而言，個人喜歡Anaconda，可以去https://www.continuum.io/downloads/ 下載安裝，安裝成功后的運行界面如下：
anaconda 是python 數(shù)據(jù)愛好者的福音吧。
安裝wordcloud 和 jieba 兩個庫同樣非常簡單：
- pip install wordcloud
- pip install jieba
遇到的一個小坑，剛開始運行這十行代碼的時候，只顯式了若干彩色的小矩形框，中文詞語顯式不出來，以為是萬惡的UTF8問題，debug一下，發(fā)現(xiàn)print 結(jié)巴分詞的結(jié)果是可以顯示中文的，那就是wordcloud 生成詞語的字體庫問題了。開源的好處來了，直接進入wordcloud.py 的源碼，找字體庫相關的代碼
- FONT_PATH = os.environ.get("FONT_PATH", os.path.join(os.path.dirname(__file__), "DroidSansMono.ttf"))
wordcloud 默認使用了DroidSansMono.ttf 字體庫，改一下?lián)Q成一個支持中文的ttf 字庫， 重新運行一下這十行代碼，就可以了。當然，解讀代碼后有更優(yōu)雅的方法。
看一下源碼
既然進入了源碼，就會忍不住好奇心，瀏覽一下wordcloud 的實現(xiàn)過程和方式吧。
wordcloud.py總共不過600多行，其間有著大量的注釋，讀起來很方便。其中用到了較多的庫，常見的random，os，sys，re(正則)和可愛的numpy，還采用了PIL繪圖，估計一些人又會遇到安裝PIL的那些坑。
生成詞云的原理其實并不復雜，大體分成5步：
- 對文本數(shù)據(jù)進行分詞，也是眾多NLP文本處理的第一步，對于wordcloud中的process_text()方法，主要是停詞的處理
- 計算每個詞在文本中出現(xiàn)的頻率，生成一個哈希表。詞頻計算相當于各種分布式計算平臺的第一案例wordcount， 和各種語言的hello world 程序具有相同的地位了，呵呵。
- 根據(jù)詞頻的數(shù)值按比例生成一個圖片的布局，類IntegralOccupancyMap 是該詞云的算法所在，是詞云的數(shù)據(jù)可視化方式的核心。
- 將詞按對應的詞頻在詞云布局圖上生成圖片，核心方法是generate_from_frequencies,不論是generate()還是generate_from_text()都最終到generate_from_frequencies
- 完成詞云上各詞的著色,默認是隨機著色
詞語的各種增強功能大都可以通過wordcloud的構造函數(shù)實現(xiàn)，里面提供了22個參數(shù)，還可以自行擴展。
更多的小例子
看看一個準文言文的詞云，文本文字來自本公眾號去年的舊文——《妻》，其中在構造函數(shù)中傳入了關于屏幕和字體大小的幾個參數(shù)：
- width=800,height=400,max_font_size=84,min_font_size=16
得到了這樣的詞云圖：
自慚形穢，根本看不出文言文的色彩和對妻子的感情流露，不是好文字呀!或許是詞云的局限吧!
矩形的詞云的確太簡陋了，直接在圖片上用詞云來填充就有意思多了，wordcloud中可以采用mask的方式來實現(xiàn)。換上一張自己的照片，用《再談<全棧架構師>一文》中的文字，詞云出來的效果是這樣的 ：
還是很難看出肖像的輪廓，還好，可以遮丑。其中增加了3行代碼
- from PIL import Image
- import numpy as np
- abel_mask = np.array(Image.open("/Users/hecom/chw.png"))
在構造函數(shù)的時候，將mask傳遞進去即可：
- background_color="black", mask=abel_mask
自己做的這些詞云圖片還是太陋，這就是原型簡單，好的產(chǎn)品困難呀!做好一個漂亮詞云的圖片，還是要在諸多細節(jié)上下功夫的。
例如：
- 分詞的處理，“就是”這樣沒有意義的詞不應該出現(xiàn)在詞云里呀?
- 所展示關鍵詞的目的性選擇?
- 如何選擇一個合適的字庫?
- 如何更好地自主著色?
- 圖片的預處理，如何讓圖片和詞云表達原圖片的主要特征?
- ......
詞云的背后
詞云的背后實際上是數(shù)據(jù)集成處理的典型過程，我們所熟知的6C,如下圖：
- Connect: 目標是從各種各樣數(shù)據(jù)源選擇數(shù)據(jù)，數(shù)據(jù)源會提供APIs,輸入格式,數(shù)據(jù)采集的速率,和提供者的限制.
- Correct: 聚焦于數(shù)據(jù)轉(zhuǎn)移以便于進一步處理，同時保證維護數(shù)據(jù)的質(zhì)量和一致性
- Collect: 數(shù)據(jù)存儲在哪，用什么格式，方便后面階段的組裝和消費
- Compose: 集中關注如何對已采集的各種數(shù)據(jù)集的混搭, 豐富這些信息能夠構建一個引入入勝的數(shù)據(jù)驅(qū)動產(chǎn)品。
- Consume: 關注數(shù)據(jù)的使用、渲染以及如何使正確的數(shù)據(jù)在正確的時間達到正確的效果。
- Control: 這是隨著數(shù)據(jù)、組織、參與者的增長，需要的第六個附加步驟，它保證了數(shù)據(jù)的管控。
這十行代碼構建的詞云，沒有通過API從公眾號(wireless_com)直接獲取,簡化和抽象是工程化的典型方式，這里至今復制粘貼，甚至省略了correct的過程，直接將數(shù)據(jù)存儲在純文本文件中，通過jieba分詞進行處理即compose，使用詞云生成可視化圖片用于消費consume，把一個個自己生成的詞云組織到不同的文件目錄便于檢索算是初步的管控control吧。
【本文來自51CTO專欄作者“老曹”的原創(chuàng)文章，作者微信公眾號：喔家ArchiSelf,id:wrieless-com】
