為何很多看起來不復雜的網站，需要大量頂尖程序員來開發
來自知乎的話題討論“為什么很多看起來不是很復雜的網站，比如 Facebook、淘寶，都需要大量頂尖高手來開發?”
子柳，淘寶打雜的 碼農
就拿淘寶來說說，當作給新人一些科普。
先說你看到的頁面上，最重要的幾個：
【搜索商品】——這個功能，如果你有幾千條商品，完全可以用select 這樣的操作來搞定。但是——當你有10000000000(一百億)條商品的時候，任何一個數據庫都無法存放了，請問你怎么搜索?這里需要用到分布式的數 據存儲方案，另外這個搜索也不可能直接從數據庫里來取數據，必然要用到搜索引擎(簡單來說搜索引擎更快)。好，能搜出商品了，是否大功告成可以啵一個了 呢?早著呢，誰家的商品出現在第一頁?這里需要用到巨復雜的排序算法。要是再根據你的購買行為做一些個性化的推薦——這夠一幫牛叉的算法工程師奮斗終生 了。
【商品詳情】——就是搜索完畢，看到你感興趣的，點擊查看商品的頁面，這個頁面有商品的屬性、詳細描述、評價、 賣家信息等等，這個頁面的每天展示次數在30億以上，同樣的道理，如果你做一個網站每天有10個人訪問，你絲毫感覺不到服務器的壓力，但是30億，要解決 的問題就多了去了。首先，這些請求不能直接壓到數據庫上，任何單機或分布式的數據庫，承受30億每天的壓力，都將崩潰到完全沒有幸福感，這種情況下要用到 的技術就是大規模的分布式緩存，所有的賣家信息、評價信息、商品描述都是從緩存里面來取到的，甚至更加極致的一點“商品的瀏覽量”這個信息，每打開頁面一 次都要刷新，你猜能夠從緩存里面來取嗎?淘寶做到了，整個商品的詳情都在緩存里面。
【商品圖片】——一個商品有5個圖片，商品描述里面有更多圖片，你猜淘寶有多少張圖片要存儲?100億以上。這 么多圖片要是在你的硬盤里面，你怎么去查找其中的一張?要是你的同學想拷貝你的圖片，你需要他準備多少塊硬盤?你需要配置多少大的帶寬?你們的網卡是否能 夠承受?你需要多長時間拷貝給他?這樣的規模，很不幸市面上已經沒有任何商業的解決方案，最終我們必須自己來開發一套存儲系統，如果你聽說過google 的GFS，我們跟他類似，叫TFS。順便說一下，騰訊也有這樣的一套，也叫TFS。
【廣告系統】——淘寶上有很多廣告，什么，你不知道?那說明我們的廣告做的還不錯，居然很多人不認為它是廣告，賣家怎么出價去買淘寶的廣告位?廣告怎么展示?怎么查看廣告效果?這又是一套算法精奇的系統。
【BOSS系統】——淘寶的工作人員怎么去管理這么龐大的一個系統，例如某時刻突然宣布某位作家的作品全部從淘寶消失，從數據庫到搜索引擎到廣告系統，里面的相關數據在幾分鐘內全部消失，這又需要一個牛叉的后臺支撐系統。
【運維體系】——支持這么龐大的一個網站，你猜需要多少臺服務器?幾千臺?那是零頭。這么多服務器，上面部署什 么操作系統，操作系統的內核能否優化?Java虛擬機能否優化?通信模塊有沒有榨取性能的空間?軟件怎么部署上去?出了問題怎么回滾?你裝過操作系統吧， 優化過吧，被360坑過沒，崩潰過沒?這里面又有很多門道。
不再多寫了，除了上面提到的這些，還有很多很多需要做的技術，當然并不是這些東西有多么高不可攀，任何復雜的龐大的東西都是從小到大做起來的，里面需要牛叉到不行的大犇，也需要充滿好奇心的菜鳥，最后這一句，你當我是別有用心好了。
覃超，曾經滄海難為水,Facebook工程師
功能上面雖然不復雜,但是要完成的細節卻很多. 比如news feed里面的推薦算法就很重要,要根據用戶之前的記錄和與好友的關系來生成. 另外就是根據用戶的信息和行為,要做機器學習和數據挖掘,從而來挑出最匹配的廣告.這也是比較花人力的事情.
另外Facebook的用戶量奇大無比. 假設你只是做一個學校內部用的社交網站, 那肯定很簡單. 但是如果考慮到上億人在上面用. 你首先服務器 就必須是一個分布式的機群,還要保證能抗住那么大的流量. 同時為了性能夠好,不得不加上mem cache和網頁分塊加載等功能. 還有就是每天用戶產生的總數據量(狀態,留言,照片,分享等)有TB的數量級,你數據庫是否撐住等等.
另外樹大招風,你要一個很強的安全小組來保證網站在受攻擊的時候能防御好,還有要防止垃圾信息和惡心廣告或者程序的散播. 另外還有為了全球化而帶來的多語言問題.
總之,一個網站做大了之后,很多問題就會產生,不是在校園里面做一個學期作業那么簡單.
