如何評價(jià)推薦系統(tǒng)的結(jié)果質(zhì)量
推薦系統(tǒng)是互聯(lián)網(wǎng)發(fā)展至今最常見也重要的技術(shù)之一。如今各類APP、網(wǎng)站、小程序等所有提供內(nèi)容的地方，背后都有推薦系統(tǒng)在發(fā)揮作用。
開發(fā)好一套真正優(yōu)秀的推薦系統(tǒng)非常有價(jià)值，但也非常艱巨。達(dá)觀數(shù)據(jù)是國內(nèi)推薦系統(tǒng)主要第三方供應(yīng)商，一直在摸索中前進(jìn)。在想辦法開發(fā)出強(qiáng)大的推薦系統(tǒng)服務(wù)好客戶時(shí)，也一直在思考推薦系統(tǒng)的評估方法。眾所周知業(yè)界有一句俗話：“沒有評價(jià)就沒有進(jìn)步”，其意思是如果沒有一套科學(xué)的評價(jià)推薦系統(tǒng)效果的方法，那就找不到優(yōu)化改進(jìn)的方向，打造優(yōu)秀的推薦系統(tǒng)就無從談起。
筆者在幾年前寫過《怎樣量化評價(jià)搜索引擎的結(jié)果質(zhì)量》一文并首發(fā)于InfoQ(也可見知乎 https://zhuanlan.zhihu.com/p/30910760)。和搜索引擎相比，移動互聯(lián)網(wǎng)時(shí)代的推薦系統(tǒng)應(yīng)用面更廣闊，評價(jià)指標(biāo)也更復(fù)雜。
評價(jià)指標(biāo)像一把尺子，指引著我們產(chǎn)品優(yōu)化的方向。到底怎樣才能科學(xué)合理的評價(jià)推薦系統(tǒng)的結(jié)果質(zhì)量?從各類文獻(xiàn)資料和網(wǎng)上文章里能看到數(shù)十種評估公式，讓人眼花繚亂。這些指標(biāo)各自有什么優(yōu)缺點(diǎn)，應(yīng)該怎樣取舍?本文從我們的實(shí)踐經(jīng)驗(yàn)出發(fā)，對此進(jìn)行一些深入的分析，期望對大家有所裨益。
1.針對不同的推薦場景，一定要因地制宜的選擇合適的評估方法
推薦場景是制定評價(jià)指標(biāo)時(shí)最為關(guān)鍵的，脫離了推薦場景來談評測指標(biāo)就像無水之魚。所謂“推薦場景”，與所推薦的內(nèi)容類型、展現(xiàn)方式、推薦所滿足的用戶需求，都有莫大的關(guān)系，而且這種關(guān)系體現(xiàn)的有時(shí)還很微妙。
例如同樣都是推薦視頻，但在推薦電影(典型的長視頻)、和推薦短視頻(一般只有幾秒鐘長度)，其背后所面對的用戶需求完全不同。前者展示的是電影海報(bào)、名稱、評分、主演和故事梗概，用戶查看這些內(nèi)容的目的是盡快挑選出一部適合觀賞的電影，因此推薦系統(tǒng)強(qiáng)調(diào)的是如何更快更準(zhǔn)的給出優(yōu)質(zhì)結(jié)果。而后者的短視頻推薦(例如常見的抖音快手等)用戶在瀏覽過程中目的性不強(qiáng)，而且因?yàn)闀r(shí)長短，決策成本低，用戶瀏覽目的是為消磨時(shí)間，推薦系統(tǒng)的目的是讓用戶在這個(gè)app上停留的時(shí)間足夠長，粘性足夠大。
對前面這個(gè)場景來說，用戶在推薦頁(注意不是在播放頁)停留的時(shí)間越長，滿意度一定是越低的，誰都不愿意傻傻的在一堆電影名稱+海報(bào)的挑選頁面花費(fèi)太多的時(shí)間，如果挑了十幾分鐘還沒能找出一部接下來值得觀看的電影，用戶一定會對推薦系統(tǒng)的印象大打折扣。但對后者來說，推薦的過程本身就在不斷觀賞短視頻，為了滿足用戶kill time的需求，多樣性、新穎性等更重要。
如果從評估方法的角度來看，推薦電影等長視頻時(shí)更多要看在足夠短的時(shí)間里推出了滿足用戶持續(xù)觀看的電影，而且用戶看后認(rèn)為是“高分好片”、1個(gè)多小時(shí)的觀影時(shí)間花的值得，是最理想的指標(biāo)。而對后者來說，黏住用戶，增加瀏覽時(shí)長，同時(shí)照顧到平臺上短視頻制作方的曝光和健康生態(tài)，則對推薦系統(tǒng)來說是關(guān)鍵考核因素。
用這個(gè)簡單例子我們達(dá)觀想為各位讀者們解釋的是，一定要從產(chǎn)品的場景來深刻理解推薦的作用，才能更好的選擇評估方法，才能讓那些茫茫多的推薦評估公式找到合適的用武之地。
2.影響推薦系統(tǒng)評估方式的幾類因素
場景的細(xì)微差異，決定著評估方法應(yīng)該有所不同。俗話說“什么樣的場合穿什么樣的衣服”，西裝也好運(yùn)動服也好，都有適配的場合。根據(jù)我們對場合細(xì)微差異的理解，有以下幾個(gè)因素在發(fā)揮作用：
因素一：推薦展示槽位是固定數(shù)量，還是不斷延展的信息Feed流
固定槽位數(shù)量的推薦，更接近搜索引擎或者定向廣告的結(jié)果。因?yàn)檎故緮?shù)量有限，且可能還有先后次序(類似搜索結(jié)果從上到下排列)，對推薦結(jié)果的準(zhǔn)確率要求高，這類場景稱為Top-N推薦。此時(shí)推薦結(jié)果前N條結(jié)果的點(diǎn)擊率CTR(Click-Through-Rate)是常見指標(biāo)(點(diǎn)擊/曝光)。
如果推薦結(jié)果有明顯的先后順序(如app上從上到下展示結(jié)果)，那么往往還可以把位置衰減因素予以考慮，例如NDCG(Normalized Discounted Cumulatie Gain)， MRR(Mean Reciprocal Rank)，或MAP(mean average precision)都融入了位置因素)。
右側(cè)紅框?yàn)槌Ｒ姷腡op-N推薦結(jié)果
常見的展示推薦/廣告
還有一類是展示型的推薦，和經(jīng)典的效果廣告非常類似，區(qū)別只在于收費(fèi)方式，如上圖。這種情況下推薦系統(tǒng)可以借用廣告系統(tǒng)的常見評價(jià)方式，例如AUC，ROC等指標(biāo)。
而如果是在移動APP上常見的Feed流推薦，因?yàn)橥扑]展示槽位數(shù)量很多(甚至可視為無限多)，用戶滑屏又可輕易實(shí)現(xiàn)，此時(shí)位置先后因素并沒有特別重要，常用曝光點(diǎn)擊率(點(diǎn)擊量/曝光次數(shù))來衡量推薦質(zhì)量，此外PV點(diǎn)擊率(點(diǎn)擊量/總PV)、UV點(diǎn)擊率(點(diǎn)擊量/總UV)也是Feed流中常用方法。此時(shí)首屏首條結(jié)果并不像Top-N推薦那么重要，因此評估指標(biāo)也不同。
因素二：推薦背后的商業(yè)模式是以電商交易型、還是廣告收益型的
很多推薦系統(tǒng)用于電商平臺上，目的是更好的促成買賣雙方交易，例如各大電商網(wǎng)站、外賣生活類APP等。推薦最核心目的是促成交易(例如用戶完成商品購買，或者用戶點(diǎn)播觀看某部電影，或用戶開始閱讀某本小說);此時(shí)推薦帶來的交易筆數(shù)占總交易的比例、或者交易總金額與GMV的比例，就是最直接的評價(jià)指標(biāo)。
因?yàn)閺耐扑]激發(fā)購物者興趣，到用戶完成訂單，有漫長的操作鏈條，所以還可以分解動作以更好的衡量每個(gè)環(huán)節(jié)的效果。例如加購物車率(通過推薦引導(dǎo)的加購物車數(shù)量/推薦曝光總數(shù))，商品詳情頁閱讀率(通過推薦引導(dǎo)進(jìn)入商品詳情頁數(shù)量/推薦曝光總數(shù))等。
而有一些平臺是以廣告點(diǎn)擊、曝光等作為主要收入來源的，例如常見的各類新聞資訊類APP，或者短視頻類、免費(fèi)閱讀(漫畫、小說)類APP，廣告作為主要收入來源，那么期望推薦系統(tǒng)能更好的擴(kuò)大用戶在APP上停留的時(shí)間，提高用戶點(diǎn)擊數(shù)等，這些意味著平臺能獲得更多的廣告收入，因?yàn)闊o論是CPM或CPC計(jì)費(fèi)的廣告形式，用戶越活躍，翻閱次數(shù)越多，平均收益就越高。
這種情況下，推薦系統(tǒng)爭取滿足的用戶需求是消磨時(shí)間、或“閑逛”的場景，此時(shí)用戶平均停留時(shí)長、推薦引導(dǎo)下的成功閱讀次數(shù)等，則更符合需求。
因素三：推薦評估是離線進(jìn)行，還是在線實(shí)時(shí)完成
離線評估和在線評估因?yàn)閿?shù)據(jù)準(zhǔn)備的條件不同，適合采取的手段也不同。離線數(shù)據(jù)采集通常很難做到完全細(xì)致全面的情況下(例如大量用戶的隱式反饋數(shù)據(jù)很難完整記錄，因?yàn)樾阅艽鷥r(jià)太大)，離線評估方法會有所不同。
典型的離線評估例如有著名的Netflix Prize競賽、以及KDD Cup、Kaggle上的一些大數(shù)據(jù)算法競賽，這些比賽數(shù)據(jù)集固定，采用靜態(tài)的評估方法，MSE(Mean Absolute Error)平均絕對誤差、RMSE(Root Mean Squared Error)均方根誤差，或者R-Squared(R方)來計(jì)算：
例如在電影、電視劇的推薦中，用戶-物品評分矩陣(User-Item-Rating)就是常用于離線評估，在學(xué)術(shù)界尤其常見。因?yàn)楦咝！W(xué)術(shù)界很難接觸真實(shí)線上環(huán)境，用離線評估是比較方便來評估算法好壞的，也算是學(xué)術(shù)界的無奈吧。
但我們都知道用戶真正給產(chǎn)品評分的顯式數(shù)據(jù)(Explicit Feedbacks)是非常稀缺的，有時(shí)我們不得不拍出一些評分映射關(guān)系，例如分享映射為幾分、點(diǎn)贊映射為幾分等，來近似的生成評估矩陣并計(jì)算上述這些靜態(tài)指標(biāo)。
在線實(shí)時(shí)計(jì)算各類推薦效果指標(biāo)
而在線評估的好處是可以隨時(shí)進(jìn)行AB test分流測試，效果好壞一目了然，工程師們很喜歡。其難點(diǎn)有兩個(gè)，第一是線上環(huán)境極為復(fù)雜，會受到很多其他因素的干擾，未必真正能反映推薦算法效果的好壞。例如一些指標(biāo)很容易受攻擊和作弊。另外一些運(yùn)營活動也會干擾效果。尤其當(dāng)抽取比對的流量占比過小時(shí)，數(shù)據(jù)抖動很大，AB test的結(jié)果未必真能體現(xiàn)實(shí)際效果。
第二個(gè)難點(diǎn)是評估數(shù)據(jù)往往體現(xiàn)的是最終結(jié)果，而不是中間某個(gè)模塊的直接好壞。如果想用AB 測試傳導(dǎo)到內(nèi)部更深層次的算法模塊，往往需要在工程架構(gòu)上做大量開發(fā)，把內(nèi)部參數(shù)傳遞出來才行。例如通過在線評估雖然可以很容易的計(jì)算推薦排序策略(Ranking Strategy)孰優(yōu)孰劣，但如想分析之前的召回策略(Recall Strategy)哪個(gè)更有效，通過在線評估就困難的多。向前的參數(shù)傳導(dǎo)需要在大數(shù)據(jù)工程架構(gòu)上下功夫，這也是我們達(dá)觀一直致力于的。
還有個(gè)恐怕是一線算法工程師常常會遇到的難題，就是離線評估的結(jié)果和在線測試的結(jié)果南轅北轍。離線測下來效果頂呱呱的算法，上線后可能石沉大海一點(diǎn)浪花也看不到。這也恰好證明了正確選擇評估方法是多么重要。
因素四：推薦系統(tǒng)當(dāng)前的目標(biāo)是最大化運(yùn)營指標(biāo)，還是考慮生態(tài)平衡和來源多樣性
推薦的內(nèi)容如果都來源于平臺自身，那么往往只需重點(diǎn)考慮平臺關(guān)鍵運(yùn)營指標(biāo)最大最優(yōu)，例如達(dá)成更多的交易提升GMV，或者讀者的留存率更高，或者提升整個(gè)平臺用戶的活躍度等就行。
但還有一類復(fù)雜的情況，一些平臺的待推薦內(nèi)容來自各個(gè)UGC或PGC，這些內(nèi)容提供者依賴平臺的推薦來進(jìn)行內(nèi)容曝光并獲利。在這種情況下，平臺要從自身生態(tài)平衡、系統(tǒng)長期健康的角度來出發(fā)，需要考慮出讓一些推薦曝光機(jī)會給到長尾UGC或PGC，以避免出現(xiàn)被少量頂部內(nèi)容渠道綁架導(dǎo)致的“客大欺店”的問題，同時(shí)扶植更多的中小內(nèi)容創(chuàng)作者能讓生態(tài)更健康繁榮。畢竟大樹之下寸草不死一定不是平臺樂意看到的現(xiàn)象。此時(shí)推薦系統(tǒng)作為最重要的指揮棒，其評價(jià)指標(biāo)中一定需要將內(nèi)容來源覆蓋率(Source Coverage)、多樣性(Novelty)等指標(biāo)。
經(jīng)濟(jì)學(xué)中的基尼系數(shù)(Gini coefficient)，也可以作為輔助的指標(biāo)用來評價(jià)生態(tài)的健康程度。推薦系統(tǒng)的初衷就是消除馬太效應(yīng)，使各種物品都能被展示給某類人群。但研究表明主流的推薦算法(比如協(xié)同過濾)都是具有馬太效應(yīng)的。基尼系數(shù)就是用來評測推薦系統(tǒng)馬太效應(yīng)強(qiáng)弱的。如果Gini1 是從初始用戶行為中計(jì)算出的物品流行度的基尼系數(shù)，Gini2 是從推薦列表中計(jì)算出的物品流行度的基尼系數(shù)，如果 Gini2 > Gini1則說明推薦算法具有馬太效應(yīng)。
因素五：推薦結(jié)果要迎合人性，還是引導(dǎo)人性
推薦系統(tǒng)本質(zhì)上是讓計(jì)算機(jī)系統(tǒng)通過大規(guī)模數(shù)據(jù)挖掘來“揣摩”人性。但略微深刻一些來說，人性是最為復(fù)雜、矛盾的東西。既有理性的一面，又有感性的一面。
推薦系統(tǒng)一味地迎合人性，會顯得“媚俗”，最終也會被用戶唾棄。例如人性都有獵奇、貪婪的一面，而且人性通常是沒有耐心的——這也證明了為什么幾秒鐘的短視頻越來越受歡迎，連續(xù)劇為什么要有“倍速”功能，以及標(biāo)題驚悚的短文章總是比內(nèi)容深刻篇幅漫長的文章在推薦的時(shí)候指標(biāo)更好看。
人是從眾的動物，內(nèi)心總是關(guān)心同類們在看些什么。大量基于協(xié)同過濾思想的算法，滿足了相關(guān)需求。如果充分迎合，會發(fā)現(xiàn)大量人群喜歡看的往往是偏低俗、快餐式的內(nèi)容。如果不加干預(yù)，黃賭毒、標(biāo)題黨、危言聳聽、獵奇刺激的內(nèi)容、或者廉價(jià)低劣的商品往往會充斥在推薦結(jié)果中。
但想要引導(dǎo)人性，倡導(dǎo)更有質(zhì)量的內(nèi)容，是推薦系統(tǒng)要肩負(fù)的責(zé)任，這個(gè)時(shí)候的評價(jià)指標(biāo)一定不能只單純看重點(diǎn)擊率、轉(zhuǎn)化率等量化指標(biāo)，因?yàn)槿绻挥眠@些指標(biāo)來優(yōu)化算法，最終結(jié)果一定是低劣內(nèi)容會充斥著版面，降低整個(gè)平臺的格調(diào)。
在推薦系統(tǒng)評估時(shí)大家往往語焉不詳?shù)?ldquo;驚喜度”(Serendipity)、“新穎性”(Novelty)等，往往就是在人性揣測的方面進(jìn)行探索。這些指標(biāo)計(jì)算時(shí)最大的難點(diǎn)是評價(jià)指標(biāo)偏主觀，很難直接使用在線行為計(jì)算。一般只能用事后問卷或者用戶對內(nèi)容的評價(jià)評分、轉(zhuǎn)發(fā)等行為來間接佐證。或者以7日或者N日留存率等來判斷用戶對推薦結(jié)果整體的滿意度。
3.實(shí)戰(zhàn)中推薦評估指標(biāo)設(shè)置的常用方法
方法一：為不同的細(xì)分人群來設(shè)置不同的評價(jià)指標(biāo)
基于用戶的整體式評估，會讓推薦算法導(dǎo)向滿足“大多數(shù)人口味”的推薦結(jié)果，但這背離了千人千面的個(gè)性化的初衷。我們期望社群里不同的人都能通過推薦來形成滿意的體驗(yàn)。小眾的人群偏好往往會淹沒在整體數(shù)據(jù)中，我們一線的算法工程師經(jīng)常有體會，就是某個(gè)新的推薦算法上線后，看整體指標(biāo)明顯好很多了，但是你的領(lǐng)導(dǎo)/客戶可能來投訴，說感覺推給他的東西感覺沒以前好了。個(gè)體和群體經(jīng)常存在類似的矛盾。某個(gè)推薦算法可能對整體有利，但對其中另一類人未必如此。
理想的做法是將其中的人群進(jìn)行細(xì)分，例如電商網(wǎng)站中既有價(jià)格敏感型的大眾用戶，也有追求品質(zhì)的高端用戶。在計(jì)算指標(biāo)時(shí)如果劃分不同人群來計(jì)算，更能體現(xiàn)推薦效果作用后的具體差異。例如我們期望新用戶能迅速完成交易并沉淀下來，那么針對這群人的推薦指標(biāo)，下單率和次日或7日留存就非常重要。而針對高端人群的則有所不同。個(gè)體的差異性和小眾品味要得到更大程度的重視。
方法二：按不同的推薦位置來制定不同的指標(biāo)
在同一個(gè)推薦APP或產(chǎn)品里，不同位置的推薦需要針對性的設(shè)置推薦評價(jià)指標(biāo)。前文中提到的不同位置、不同場景，推薦指標(biāo)制定規(guī)則可以有所不同。例如首頁首屏的banner推薦(Top-N推薦)，信息流Feed推薦，內(nèi)容詳情頁下面的相關(guān)推薦(常用precision-recall或者F1-score)來計(jì)算。還有在搜索無結(jié)果頁、購物車頁面，退出確認(rèn)頁等等，不同的位置一定需要因地制宜的選擇適合的評價(jià)指標(biāo)。
方法三：綜合幾種不同的評估指標(biāo)來獲得整體數(shù)據(jù)指標(biāo)
每個(gè)指標(biāo)都有局限性，推薦系統(tǒng)需要平衡很多因素 ( 商業(yè)、用戶體驗(yàn)、技術(shù)實(shí)現(xiàn)、資金、人力等 ) ，怎么做好平衡是一種哲學(xué)。通常可以把幾個(gè)因素加權(quán)求和來作為整體指標(biāo)
指標(biāo)的選擇和產(chǎn)品主打定位有關(guān)系。例如一個(gè)特別強(qiáng)調(diào)內(nèi)容快速新鮮的APP，那么結(jié)果的時(shí)效性就應(yīng)該占更大的權(quán)重。而一個(gè)強(qiáng)調(diào)格調(diào)品味的APP，單篇閱讀時(shí)長就顯得更可貴。而強(qiáng)調(diào)社群活躍度的平臺，用戶對內(nèi)容的分享率，互動率等，在整體指標(biāo)中要更突出。
在產(chǎn)品運(yùn)營的不同階段，傾向性不同指標(biāo)的選擇也應(yīng)該有所不同。產(chǎn)品上線前期可能要照顧用戶體驗(yàn)，大力拓展新用戶。當(dāng)用戶量足夠多后，可能會側(cè)重商業(yè)變現(xiàn) ( 推薦的付費(fèi)視頻，在列表中插入較多廣告等 ) ，想辦法通過推薦讓產(chǎn)品盡快盈利。如果是電商類推薦，要細(xì)致的考慮用戶購買前和購買后的差異，以及標(biāo)品和非標(biāo)品的差異。購買前往往可以多推薦同類產(chǎn)品以更好的讓用戶進(jìn)行比選。當(dāng)購買動作完成后，尤其是耐用消費(fèi)品，再繼續(xù)推薦就適得其反了。
各類推薦算法和指標(biāo)的靈活選擇
4.推薦指標(biāo)小結(jié)
推薦系統(tǒng)本質(zhì)上就是讓每個(gè)消費(fèi)者滿意，這些指標(biāo)只是從不同的角度來衡量“滿意”這件事情的程度高低。在此小結(jié)下常見的指標(biāo)種類，包括如下幾種類型：
- 場景轉(zhuǎn)化類指標(biāo)：曝光點(diǎn)擊率，PV點(diǎn)擊率，UV點(diǎn)擊率，UV轉(zhuǎn)化率，加購物車率，分享率，收藏率，購買率，人均點(diǎn)擊個(gè)數(shù)，CTR，AUC等
- 推薦內(nèi)容質(zhì)量指標(biāo)：結(jié)果多樣性(Diversity)，結(jié)果新穎性(Novelty)，結(jié)果時(shí)效性(timeliness)，結(jié)果信任度(Confidence& Trust)等
- 內(nèi)容消費(fèi)滿意度指標(biāo)：留存率，停留時(shí)長，播放完成率，平均閱讀時(shí)長，交易量，沉浸度(Engagement)，驚喜度(Serendipity)等
在同一個(gè)推薦場景下，指標(biāo)不宜過多，因?yàn)樘嗔瞬焕谧罱K優(yōu)化決策，把握準(zhǔn)每個(gè)場景核心發(fā)揮的作用的幾個(gè)推薦指標(biāo)就行。但也不能只有一個(gè)指標(biāo)，因?yàn)檫^于單一的指標(biāo)會把推薦算法的優(yōu)化引入歧途。迷信單一的指標(biāo)表現(xiàn)好不能說明產(chǎn)品好，而且物極必反，過度優(yōu)化后的指標(biāo)雖然上去了，但用戶的體驗(yàn)往往會降低。
很多推薦評價(jià)指標(biāo)本身也是脆弱和易受攻擊的，一些推薦算法如果嚴(yán)重依賴各類反饋指標(biāo)來自動優(yōu)化結(jié)果，往往會被惡意利用，所以既要靈活運(yùn)用推薦評價(jià)指標(biāo)，又不要完全迷信技術(shù)指標(biāo)。因?yàn)橹笜?biāo)背后體現(xiàn)的是用戶的人性。在商業(yè)利益和人性之間拿捏到最佳平衡點(diǎn)，是推薦系統(tǒng)開發(fā)、以及推薦效果評估的至高境界。
作者簡介：
陳運(yùn)文：達(dá)觀數(shù)據(jù)創(chuàng)始人&CEO，復(fù)旦大學(xué)計(jì)算機(jī)博士，國家“萬人計(jì)劃”專家，第九屆上海青年科技英才，任復(fù)旦大學(xué)、上海財(cái)經(jīng)大學(xué)校外研究生導(dǎo)師。在人工智能領(lǐng)域擁有豐富研究成果，在IEEE Transactions、SIGKDD等國際頂級學(xué)術(shù)期刊和會議上發(fā)表數(shù)十篇高水平科研成果論文，譯有人工智能經(jīng)典著作《智能Web 算法》(第2 版)，曾多次摘取ACM KDD CUP、CIKM、EMI Hackathon等世界最頂尖數(shù)據(jù)挖掘競賽的冠亞軍榮譽(yù)。曾擔(dān)任盛大文學(xué)首席數(shù)據(jù)官、騰訊文學(xué)高級總監(jiān)、百度核心技術(shù)研發(fā)工程師。在機(jī)器學(xué)習(xí)、自然語言處理、搜索推薦等領(lǐng)域有豐富的研究和工程經(jīng)驗(yàn)。
【本文為51CTO專欄作者“達(dá)觀數(shù)據(jù)”的原創(chuàng)稿件，轉(zhuǎn)載可通過51CTO專欄獲取聯(lián)系】
