文本分析了4000萬條Stack Overflow討論帖，這些是程序員最推薦的編程書（附代碼）

作者：xixi、吳雙、Aileen編譯 2018-02-26 17:11:11

大數據數據分析前端

程序員們都看什么書?他們會向別人推薦哪些書?本文作者分析了Stack Overflow上的4000萬條問答，找出了程序員們最常討論的書，同時非常慷慨地公開了數據分析代碼。讓我們來看看作者是怎么說的吧。

程序員們都看什么書?他們會向別人推薦哪些書?

本文作者分析了Stack Overflow上的4000萬條問答，找出了程序員們最常討論的書，同時非常慷慨地公開了數據分析代碼。讓我們來看看作者是怎么說的吧。

尋找下一本值得讀的編程書是一件很難，而且有風險的事情。

作為一個開發者，你的時間是很寶貴的，而看書會花費大量的時間。這時間其實你本可以用來去編程，或者是去休息，但你卻決定將其用來讀書以提高自己的能力。

所以，你應該選擇讀哪本書呢?我和同事們經常討論看書的問題，我發現我們對于書的看法相差很遠。

幸運的是，Stack Exchange(程序員最常用的IT技術問答網站Stack Overflow的母公司)發布了他們的問答數據。用這些數據，我找出了Stack Overflow上4000萬條問答里，被討論最多的編程書籍，一共5720本。

在這篇文章里，我將詳細介紹數據獲取及分析過程，附有代碼。

我開發了dev-books.com來展示書籍推薦排序

讓我們放大看看這些最受歡迎的書

“被推薦次數最多的書是Working Effectively with Legacy Code《修改代碼的藝術》，其次是Design Pattern: Elements of Reusable Object-Oriented Software《設計模式：可復用面向對象軟件的基礎》。
雖然它們的名字聽起來枯燥無味，但內容的質量還是很高的。你可以在每種標簽下將這些書依據推薦量排序，如JavaScript, C, Graphics等等。這顯然不是書籍推薦的終極方案，但是如果你準備開始編程或者提升你的知識，這是一個很好的開端。”

——來自Lifehacker.com的評論

獲取和輸入數據

我從archive.org抓取了Stack Exchange的數據。(https://archive.org/details/stackexchange)

從最開始我就意識到用最常用的方式(如 myxml := pg_read_file(‘path/to/my_file.xml’))輸入48GB的XML文件到一個新建立的數據庫(PostgreSQL)是不可能的，因為我沒有48GB的RAM在我的服務器上，所以我決定用SAX程序。

所有的值都被儲存在這個標簽之間，我用Python來提取這些值：

def startElement(self, name, attributes):  
 if name == ‘row’:  
 self.cur.execute(“INSERT INTO posts (Id, Post_Type_Id, Parent_Id, Accepted_Answer_Id, Creation_Date, Score, View_Count, Body, Owner_User_Id, Last_Editor_User_Id, Last_Editor_Display_Name, Last_Edit_Date, Last_Activity_Date, Community_Owned_Date, Closed_Date, Title, Tags, Answer_Count, Comment_Count, Favorite_Count) VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)”,  
 (  
 (attributes[‘Id’] if ‘Id’ in attributes else None),  
 (attributes[‘PostTypeId’] if ‘PostTypeId’ in attributes else None),  
 (attributes[‘ParentID’] if ‘ParentID’ in attributes else None),  
 (attributes[‘AcceptedAnswerId’] if ‘AcceptedAnswerId’ in attributes else None),  
 (attributes[‘CreationDate’] if ‘CreationDate’ in attributes else None),  
 (attributes[‘Score’] if ‘Score’ in attributes else None),  
 (attributes[‘ViewCount’] if ‘ViewCount’ in attributes else None),  
 (attributes[‘Body’] if ‘Body’ in attributes else None),  
 (attributes[‘OwnerUserId’] if ‘OwnerUserId’ in attributes else None),  
 (attributes[‘LastEditorUserId’] if ‘LastEditorUserId’ in attributes else None),  
 (attributes[‘LastEditorDisplayName’] if ‘LastEditorDisplayName’ in attributes else None),  
 (attributes[‘LastEditDate’] if ‘LastEditDate’ in attributes else None),  
 (attributes[‘LastActivityDate’] if ‘LastActivityDate’ in attributes else None),  
 (attributes[‘CommunityOwnedDate’] if ‘CommunityOwnedDate’ in attributes else None),  
 (attributes[‘ClosedDate’] if ‘ClosedDate’ in attributes else None),  
 (attributes[‘Title’] if ‘Title’ in attributes else None),  
 (attributes[‘Tags’] if ‘Tags’ in attributes else None),  
 (attributes[‘AnswerCount’] if ‘AnswerCount’ in attributes else None),  
 (attributes[‘CommentCount’] if ‘CommentCount’ in attributes else None),  
 (attributes[‘FavoriteCount’] if ‘FavoriteCount’ in attributes else None)  
 )  
 );

在數據輸入進行了三天之后(有將近一半的XML在這段時間內已經被導入了)，我發現我犯了一個錯誤：我把“ParentId”寫成了“ParentID”。

但這個時候，我不想再多等一周，所以把處理器從AMD E-350 (2 x 1.35GHz)換成了Intel G2020 (2 x 2.90GHz)，但這并沒能加速進度。

下一個決定——批量輸入：

class docHandler(xml.sax.ContentHandler):  
 def __init__(self, cusor):  
 self.cusor = cusor;  
 self.queue = 0;  
 self.output = StringIO();  
   def startElement(self, name, attributes):  
 if name == ‘row’:  
 self.output.write(  
 attributes[‘Id’] + '\t` +   
 (attributes[‘PostTypeId’] if ‘PostTypeId’ in attributes else '\\N') + '\t' +   
 (attributes[‘ParentId’] if ‘ParentId’ in attributes else '\\N') + '\t' +   
 (attributes[‘AcceptedAnswerId’] if ‘AcceptedAnswerId’ in attributes else '\\N') + '\t' +   
 (attributes[‘CreationDate’] if ‘CreationDate’ in attributes else '\\N') + '\t' +   
 (attributes[‘Score’] if ‘Score’ in attributes else '\\N') + '\t' +   
 (attributes[‘ViewCount’] if ‘ViewCount’ in attributes else '\\N') + '\t' +   
 (attributes[‘Body’].replace('\\', '\\\\').replace('\n', '\\\n').replace('\r', '\\\r').replace('\t', '\\\t') if ‘Body’ in attributes else '\\N') + '\t' +   
 (attributes[‘OwnerUserId’] if ‘OwnerUserId’ in attributes else '\\N') + '\t' +   
 (attributes[‘LastEditorUserId’] if ‘LastEditorUserId’ in attributes else '\\N') + '\t' +   
 (attributes[‘LastEditorDisplayName’].replace('\n', '\\n') if ‘LastEditorDisplayName’ in attributes else '\\N') + '\t' +   
 (attributes[‘LastEditDate’] if ‘LastEditDate’ in attributes else '\\N') + '\t' +   
 (attributes[‘LastActivityDate’] if ‘LastActivityDate’ in attributes else '\\N') + '\t' +   
 (attributes[‘CommunityOwnedDate’] if ‘CommunityOwnedDate’ in attributes else '\\N') + '\t' +   
 (attributes[‘ClosedDate’] if ‘ClosedDate’ in attributes else '\\N') + '\t' +   
 (attributes[‘Title’].replace('\\', '\\\\').replace('\n', '\\\n').replace('\r', '\\\r').replace('\t', '\\\t') if ‘Title’ in attributes else '\\N') + '\t' +   
 (attributes[‘Tags’].replace('\n', '\\n') if ‘Tags’ in attributes else '\\N') + '\t' +   
 (attributes[‘AnswerCount’] if ‘AnswerCount’ in attributes else '\\N') + '\t' +   
 (attributes[‘CommentCount’] if ‘CommentCount’ in attributes else '\\N') + '\t' +   
 (attributes[‘FavoriteCount’] if ‘FavoriteCount’ in attributes else '\\N') + '\n'  
 );  
 self.

StringIO讓你可以用一個文件作為變量來執行copy_from這個函數，這個函數可以執行COPY(復制)命令。用這個方法，執行所有的輸入過程只需要一個晚上。

好，是時候創建索引了。理論上，GiST Indexes會比GIN慢，但它占用更少的空間，所以我決定用GiST。又過了一天，我得到了70GB的加了索引的數據。

在試了一些測試語句后，我發現處理它們會花費大量的時間。至于原因，是因為Disk IO需要等待。使用SSD GOODRAM C40 120Gb會有很大提升，盡管它并不是目前最快的SSD。

我創建了一組新的PostgreSQL族群：

initdb -D /media/ssd/postgresq/data

然后確認改變路徑到我的config服務器(我之前用Manjaro OS)：

vim /usr/lib/systemd/system/postgresql.service  
Environment=PGROOT=/media/ssd/postgres 
PIDFile=/media/ssd/postgres/data/postmaster.pid

重新加載config并且啟動postgreSQL：

systemctl daemon-reload postgresql systemctl start 
postgresql

這次輸入數據用了幾個小時，但我用了GIN(來添加索引)。索引在SSD上占用了20GB的空間，但是簡單的查詢僅花費不到一分鐘的時間。

從數據庫提取書籍

數據全部輸入之后，我開始查找提到這些書的帖子，然后通過SQL把它們復制到另一張表：

CREATE TABLE books_posts AS SELECT * FROM posts WHERE body LIKE ‘%book%’”;

下一步是找的對應帖子的連接：

CREATE TABLE http_books AS SELECT * posts WHERE body LIKE ‘%http%’”;

但這時候我發現StakOverflow代理的所有鏈接都如下所示:

rads.stackowerflow.com/[$isbn]/

于是，我建立了另一個表來保存這些連接和帖子：

CREATE TABLE rads_posts AS SELECT * FROM posts WHERE body LIKE ‘%http://rads.stackowerflow.com%'";

我使用常用的方式來提取所有的ISBN(國際標準書號)，并通過下圖方式提取StackOverflow的標簽到另外一個表：

regexp_split_to_table

當我有了最受歡迎的標簽并且做了統計后，我發現不同標簽的前20本提及次數最多的書都比較相似。

我的下一步：改善標簽。

方法是：在找到每個標簽對應的前20本提及次數最多的書之后，排除掉之前已經處理過的書。因為這是一次性工作，我決定用PostgreSQL數組，編程語言如下：

SELECT *  
 , ARRAY(SELECT UNNEST(isbns) EXCEPT SELECT UNNEST(to_exclude ))  
 , ARRAY_UPPER(ARRAY(SELECT UNNEST(isbns) EXCEPT SELECT UNNEST(to_exclude )), 1)   
 FROM (  
 SELECT *  
 , ARRAY[‘isbn1’, ‘isbn2’, ‘isbn3’] AS to_exclude   
 FROM (  
 SELECT   
 tag  
 , ARRAY_AGG(DISTINCT isbn) AS isbns  
 , COUNT(DISTINCT isbn)   
 FROM (  
 SELECT *   
 FROM (  
 SELECT   
 it.*  
 , t.popularity   
 FROM isbn_tags AS it   
 LEFT OUTER JOIN isbns AS i on i.isbn = it.isbn   
 LEFT OUTER JOIN tags AS t on t.tag = it.tag   
 WHERE it.tag in (  
 SELECT tag   
 FROM tags   
 ORDER BY popularity DESC   
 LIMIT 1 OFFSET 0  
 )   
 ORDER BY post_count DESC LIMIT 20  
 ) AS t1   
 UNION ALL  
 SELECT *   
 FROM (  
 SELECT   
 it.*  
 , t.popularity   
 FROM isbn_tags AS it   
 LEFT OUTER JOIN isbns AS i on i.isbn = it.isbn   
 LEFT OUTER JOIN tags AS t on t.tag = it.tag   
 WHERE it.tag in (  
 SELECT tag   
 FROM tags   
 ORDER BY popularity DESC   
 LIMIT 1 OFFSET 1  
 )   
 ORDER BY post_count   
 DESC LIMIT 20  
 ) AS t2   
 UNION ALL  
 SELECT *   
 FROM (  
 SELECT   
 it.*  
 , t.popularity   
 FROM isbn_tags AS it   
 LEFT OUTER JOIN isbns AS i on i.isbn = it.isbn   
 LEFT OUTER JOIN tags AS t on t.tag = it.tag   
 WHERE it.tag in (  
 SELECT tag   
 FROM tags   
 ORDER BY popularity DESC   
 LIMIT 1 OFFSET 2  
 )   
 ORDER BY post_count DESC   
 LIMIT 20  
 ) AS t3   
 ...  
 UNION ALL  
   SELECT *   
 FROM (  
 SELECT   
 it.*  
 , t.popularity   
 FROM isbn_tags AS it   
 LEFT OUTER JOIN isbns AS i on i.isbn = it.isbn   
 LEFT OUTER JOIN tags AS t on t.tag = it.tag   
 WHERE it.tag in (  
 SELECT tag   
 FROM tags   
 ORDER BY popularity DESC   
 LIMIT 1 OFFSET 78  
 )   
 ORDER BY post_count DESC   
 LIMIT 20  
 ) AS t79  
 ) AS tt   
 GROUP BY tag   
 ORDER BY max(popularity) DESC   
 ) AS ttt  
 ) AS tttt   
 ORDER BY ARRAY_upper(ARRAY(SELECT UNNEST(arr) EXCEPT SELECT UNNEST(la)), 1) DESC;

既然已經有了所需要的數據，我開始著手建立網站。

建立網站

因為我不是一個網頁開發人員，更不是一個網絡用戶界面專家，所以我決定創建一個基于默認主題的十分簡單的單頁面app。

我創建了“標簽查找”的選項，然后提取最受歡迎的標簽，使每次查找都可以點擊相應選項來搜索。

我用長條圖來可視化搜索結果。嘗試了Hightcharts和D3(分別為兩個JavaScript數據可視化圖表庫)，但是他們只能起到展示作用，在用戶響應方面還存在一些問題，而且配置起來很復雜。所以我決定用SVG創建自己的響應式圖表，為了使圖表可響應，必須針對不同的屏幕旋轉方向對其進行重繪。

var w = $('#plot').width();  
 var bars = "";var imgs = "";  
 var texts = "";  
 var rx = 10;  
 var tx = 25;  
 var max = Math.floor(w / 60);  
 var maxPop = 0;  
 for(var i =0; i < max; i ++){  
 if(i > books.length - 1 ){  
 break;  
 }  
 obj = books[i];  
 if(maxPop < Number(obj.pop)) {  
 maxPop = Number(obj.pop);  
 }  
 }  
   for(var i =0; i < max; i ++){  
 if(i > books.length - 1){  
 break;  
 }  
 obj = books[i];  
 h = Math.floor((180 / maxPop ) * obj.pop);  
 dt = 0;  
   if(('' + obj.pop + '').length == 1){  
 dt = 5;  
 }  
   if(('' + obj.pop + '').length == 3){  
 dt = -3;  
 }  
   var scrollTo = 'onclick="scrollTo(\''+ obj.id +'\'); return false;" "';  
 bars += '<rect id="rect'+ obj.id +'" class="cla" x="'+ rx +'" y="' + (180 - h + 30) + '" width="50" height="' + h + '" ' + scrollTo + '>';  
   bars += '<title>' + obj.name+ '</title>';  
 bars += '</rect>';  
   imgs += '<image height="70" x="'+ rx +'" y="220" href="img/ol/jpeg/' + obj.id + '.jpeg" onmouseout="unhoverbar('+ obj.id +');" onmouseover="hoverbar('+ obj.id +');" width="50" ' + scrollTo + '>';  
 imgs += '<title>' + obj.name+ '</title>';  
 imgs += '</image>';  
   texts += '<text x="'+ (tx + dt) +'" y="'+ (180 - h + 20) +'" class="bar-label" style="font-size: 16px;" ' + scrollTo + '>' + obj.pop + '</text>';  
 rx += 60;  
 tx += 60;  
 }  
   $('#plot').html(  
 ' <svg width="100%" height="300" aria-labelledby="title desc" role="img">'  
 + ' <defs> '  
 + ' <style type="text/css"><![CDATA['  
 + ' .cla {'  
 + ' fill: #337ab7;'  
 + ' }'  
 + ' .cla:hover {'  
 + ' fill: #5bc0de;'  
 + ' }'  
 + ' ]]></style>'  
 + ' </defs>'  
 + ' <g class="bar">'  
 + bars  
 + ' </g>'  
 + ' <g class="bar-images">'  
 + imgs  
 + ' </g>'  
 + ' <g class="bar-text">'  
 + texts  
 + ' </g>'  
 + '</svg>');

網頁服務失敗

Nginx 還是 Apache?

當我發布了 dev-books.com這個網站之后，它有了大量的點擊。而Apache卻不能讓超過500個訪問者同時訪問網站，于是我迅速部署并將網站服務器調整為Nginx。說實在的，我對于能有800個訪問者同時訪問這個網站感到非常驚喜!

責任編輯：未麗燕來源：大數據文摘

程序員開發者書