精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

阿里資深Leader:組建技術(shù)團(tuán)隊(duì)的一些思考

新聞
本文是我從 2019 年 1 月底接手 CRO 線 NLP 算法團(tuán)隊(duì)以來(lái),在團(tuán)隊(duì)組建、能力建設(shè)、以及管理上的一些思考,全部是沒有科學(xué)論證的主觀判斷,不過(guò)都進(jìn)行了實(shí)踐。

 本文是我從 2019 年 1 月底接手 CRO 線 NLP 算法團(tuán)隊(duì)以來(lái),在團(tuán)隊(duì)組建、能力建設(shè)、以及管理上的一些思考,全部是沒有科學(xué)論證的主觀判斷,不過(guò)都進(jìn)行了實(shí)踐。

[[312624]] 

圖片來(lái)自 Pexels

我沒有任何管理學(xué)背景知識(shí),把拙見沒羞沒臊地寫出來(lái),是為了拋磚引玉,和同學(xué)們交流討論。

團(tuán)隊(duì)的定位是什么?——做正確的事

定位

團(tuán)隊(duì)的定位是重要的事情之一,有了偏差,后續(xù)做得越多錯(cuò)得越多。確定團(tuán)隊(duì)的定位花了我很長(zhǎng)時(shí)間,中間還發(fā)生了一次組織變化,和兩任主管有多次討論。

首先,這個(gè)團(tuán)隊(duì)配置在 CRO 線,肯定要為風(fēng)險(xiǎn)管理業(yè)務(wù)服務(wù);同時(shí),這又是一支能力團(tuán)隊(duì),還要考慮和業(yè)務(wù)團(tuán)隊(duì)的協(xié)同關(guān)系。

最終,我確定了三點(diǎn):

  • 能力建設(shè)為主,同時(shí)也需要有業(yè)務(wù)抓手。
  • 不做業(yè)務(wù)團(tuán)隊(duì)已經(jīng)做得好的事情。
  • 立志高遠(yuǎn),勇攀高峰,要做就做到最好。

壁壘與價(jià)值

不夸張地說(shuō),現(xiàn)在是 NLP 領(lǐng)域的大航海時(shí)代,新算法層出不窮,日新月異,后浪各種把前浪碾死在沙灘上。

尤其是 BERT 橫空出世之后,整個(gè) NLP 的研究范式都發(fā)生了變化,從原來(lái)的 task-specific 的模型結(jié)構(gòu)設(shè)計(jì)轉(zhuǎn)變到語(yǔ)言模型 pretrain+ 下游任務(wù) finetuning 的模式,預(yù)訓(xùn)練模型是含金量高的工作。

研究一下預(yù)訓(xùn)練模型,你會(huì)發(fā)現(xiàn)這是個(gè)需要海量金錢+數(shù)據(jù)+技術(shù)才能玩的游戲。

這就陷入兩難:如果搞預(yù)訓(xùn)練模型,沒那么多資源;如果不搞,用開源模型做下游任務(wù),實(shí)際上很難有什么技術(shù)壁壘。

其實(shí)就算你真的搞出什么新算法可以充當(dāng)技術(shù)壁壘,可能兩三個(gè)月之后就又有人做出了更強(qiáng)的結(jié)果。

困境的根源在于,目前 NLP 算法這個(gè)領(lǐng)域發(fā)展速度太快了,在高速變化的領(lǐng)域是很難形成壁壘的。所以,我們需要結(jié)合自身所處的環(huán)境,尋找變化不那么快的東西。

我經(jīng)過(guò)好多天的考慮之后,認(rèn)為沉淀風(fēng)險(xiǎn)管控知識(shí)可以作為壁壘。原因如下:

  • 風(fēng)險(xiǎn)知識(shí)隨時(shí)間有變化,但速度明顯比算法慢很多。
  • CRO 線在這方面有一定積累,也需要用于實(shí)際業(yè)務(wù)管控,并沉淀到產(chǎn)品。

所以,團(tuán)隊(duì)的宗旨我定義為:基于知識(shí)驅(qū)動(dòng)的 NLP 算法團(tuán)隊(duì)。為 CRO 線乃至集團(tuán)沉淀風(fēng)險(xiǎn)知識(shí),并提供不同層次的服務(wù):

 

四層服務(wù)體系

最近,CRO 線在清華舉辦了 AI 與安全研討會(huì),會(huì)上張鈸院士談到了第三代人工智能,尤其強(qiáng)調(diào)了其中知識(shí)的核心作用。

我們走訪中科院信工所,對(duì)方的宗旨也是建設(shè)基于知識(shí)驅(qū)動(dòng)的算法,和業(yè)界發(fā)生的共鳴,更堅(jiān)定了我們走這條道路的決心和信心。

團(tuán)隊(duì)需要什么能力?——了解團(tuán)隊(duì)所處環(huán)境

阿里是一個(gè)什么結(jié)構(gòu)的組織?

有人說(shuō)是矩陣式的,有人說(shuō)是樹+網(wǎng)狀的,我不知道確切的答案。

不過(guò),如果把每個(gè)小團(tuán)隊(duì)看作節(jié)點(diǎn)的話,有兩點(diǎn)是確定的:

  • 體量巨大,各種節(jié)點(diǎn)(業(yè)務(wù)、產(chǎn)品、工程、算法)種類繁多數(shù)量大。
  • 單元節(jié)點(diǎn)之間比較容易發(fā)生跨大團(tuán)隊(duì)甚至跨 BU 的聯(lián)系,條件合適可以發(fā)生協(xié)同關(guān)系。

繼續(xù)觀察,你會(huì)發(fā)現(xiàn):

  • 你所需要的一切資源幾乎都能找到提供者,而且往往不止一個(gè)。
  • 你也可以給各種需求節(jié)點(diǎn)提供服務(wù),只要還在你的能力范圍內(nèi)。
  • 由于規(guī)模巨大,需求節(jié)點(diǎn)和資源節(jié)點(diǎn)相互之間往往不知道對(duì)方在哪。

基于以上,我認(rèn)為一個(gè)身處中臺(tái)的算法團(tuán)隊(duì),需要具備四項(xiàng)能力:

  • 連接
  • 生產(chǎn)
  • 傳播
  • 服務(wù)

 

能力中臺(tái)的算法團(tuán)隊(duì)需要具備的能力

四項(xiàng)能力

①連接:就是尋找到自己所需要的資源,篩選出其中最優(yōu)的,建立長(zhǎng)期穩(wěn)定的合作關(guān)系。

比如算法團(tuán)隊(duì)需要的爬蟲、標(biāo)注工具、分布式模型訓(xùn)練工具、模型的評(píng)測(cè)工具等,都能在公司范圍內(nèi)獲取,就沒必要刀耕火種從頭開始自己建設(shè)了。

②生產(chǎn):這是傳統(tǒng)意義上算法工程師的工作,指獲取數(shù)據(jù)后產(chǎn)出效果和效率達(dá)標(biāo)的算法模型,并上線。

對(duì)算法的要求,主管的主管早有論述:算法要全!算法要強(qiáng)!算法要快!算法要便宜!

精煉簡(jiǎn)潔,振聾發(fā)聵,細(xì)化一下就有:

 

對(duì)算法的要求

③傳播:針對(duì)中臺(tái)的算法團(tuán)隊(duì)提的要求,因?yàn)槟阈枰屇繕?biāo)業(yè)務(wù)節(jié)點(diǎn)知道你的存在,知道你的能力項(xiàng),以及細(xì)節(jié)。

ATA 是個(gè)不錯(cuò)的對(duì)內(nèi)傳播途徑,之前在 CV 團(tuán)隊(duì)時(shí),很多業(yè)務(wù)方是通過(guò) ATA 找到我的。

④服務(wù):如果是專屬某業(yè)務(wù)的算法團(tuán)隊(duì),只需要考慮該業(yè)務(wù)下的 SLA 即可。

如果是中臺(tái)的算法團(tuán)隊(duì),還需要考慮如何滿足不同業(yè)務(wù)節(jié)點(diǎn)的需求,同時(shí)又不至于做開發(fā)和維護(hù)成本很高的個(gè)性化定制,避免隨著接入業(yè)務(wù)的增長(zhǎng)各種資源的開銷也隨著線性增長(zhǎng)。

能力雷達(dá)圖

團(tuán)隊(duì)的能力雷達(dá)圖是由成員的個(gè)人能力長(zhǎng)板組成的。(話越短意思越長(zhǎng))

 

團(tuán)隊(duì)能力雷達(dá)圖

組織與個(gè)人的關(guān)系

為什么需要一個(gè)組織呢?

先從一個(gè)現(xiàn)象出發(fā):在小區(qū)業(yè)主和物業(yè)公司的糾紛斗爭(zhēng)中,業(yè)主獲勝的概率很低。

從人數(shù)、個(gè)體的教育背景和素質(zhì)來(lái)看,業(yè)主都占據(jù)絕對(duì)優(yōu)勢(shì),可是為什么會(huì)輸?

粗略分析,大體有三個(gè)原因:

  • 共同利益,目標(biāo)明確。物業(yè)的目標(biāo)非常清晰,就是為了從業(yè)主那里賺錢,這也是物業(yè)人員的共同利益。業(yè)主人多,情況各有不同,各自的利益訴求差異大,容易被分化。
  • 組織嚴(yán)密,相互協(xié)同。物業(yè)內(nèi)部有明確的分工,平時(shí)也長(zhǎng)期一起工作,相互間有信任感,能夠進(jìn)行配合。業(yè)主彼此之間往往是陌生人,缺乏信任感,難以統(tǒng)一行動(dòng),是原子化的散點(diǎn)。
  • 局部相對(duì)優(yōu)勢(shì)。相對(duì)單個(gè)業(yè)主,物業(yè)具有明顯力量?jī)?yōu)勢(shì)。比如,物業(yè)有資金,而業(yè)主因?yàn)槿狈π湃魏茈y籌措資金。

好,看出來(lái)了,小規(guī)模組織的力量可以超過(guò)大規(guī)模原子化散點(diǎn)存在的個(gè)體集合的力量。

組織為個(gè)人提供什么?

①組織能使資源增效。

組織能把各種資源組合成有機(jī)的整體,使各種分散的力量形成合力,從而產(chǎn)生大于這些資源和力量機(jī)械總和的效能。

這個(gè)原理 2000 多年前亞里斯多德就論述過(guò)了,后來(lái)馬克思又更嚴(yán)密地論述過(guò)一次。

②組織是實(shí)現(xiàn)目標(biāo)的依托

個(gè)人可以依托組織的能力和資源去做事,而組織的能力和資源遠(yuǎn)大于個(gè)人,所以依托組織的時(shí)候,個(gè)人能夠?qū)崿F(xiàn)比單打獨(dú)斗模式大得多的目標(biāo)。

舉個(gè)例子,我們團(tuán)隊(duì)做了 UGC 場(chǎng)景效果超越開源模型的預(yù)訓(xùn)練模型,每個(gè)同學(xué)都可以在這個(gè)預(yù)訓(xùn)練模型的基礎(chǔ)上去做下游的有監(jiān)督學(xué)習(xí)任務(wù),起點(diǎn)就比別人高。

個(gè)人為組織提供什么?

是否有短板不是那么重要,關(guān)鍵是要有長(zhǎng)板,能夠?qū)M織的能力雷達(dá)圖做貢獻(xiàn)。

這一節(jié)留一個(gè)思考題:公司設(shè)置主管這個(gè)職位的目的是什么?是為了像幼兒園阿姨那樣,保障每一個(gè)小朋友都有自己喜歡的玩具,高高興興上學(xué)來(lái),平平安安回家去?

招聘團(tuán)隊(duì)需要的人才

招聘為什么特別重要?

世界有個(gè)普遍規(guī)律:在前序階段做嚴(yán)格的控制會(huì)大大降低后序階段的實(shí)現(xiàn)難度,比如數(shù)據(jù)標(biāo)注、寫代碼、模型中的預(yù)處理等等。

人招進(jìn)來(lái)之后是要用要管的,招聘的時(shí)候高標(biāo)準(zhǔn)嚴(yán)要求,后續(xù)管理會(huì)輕松很多;如果降低標(biāo)準(zhǔn)甚至放水,后續(xù)管理付出的代價(jià)遠(yuǎn)遠(yuǎn)高于招聘時(shí)偷懶省的功夫。

所以,我花了至少 1/3 的時(shí)間在招聘上。對(duì)的,至少 1/3 ,你沒有看錯(cuò)。從 2019 年 2 月到現(xiàn)在,社招弄了 300+ 份簡(jiǎn)歷;校招 100+ 份簡(jiǎn)歷。

在這里特別要感謝團(tuán)隊(duì)里球夫、天逸、開陽(yáng) 3 位同學(xué),犧牲了大量業(yè)余時(shí)間做簡(jiǎn)歷評(píng)估和初面。

從統(tǒng)計(jì)數(shù)據(jù)看,每 100 份簡(jiǎn)歷產(chǎn)生 2-3 個(gè)offer,入職 1-2 個(gè)人。從 100 份簡(jiǎn)歷中招來(lái)的人絕對(duì)比 10 份簡(jiǎn)歷中招來(lái)的省心很多。

我給算法團(tuán)隊(duì)找來(lái)過(guò)不少人,both 社招 and 校招,具體的展開討論見彩蛋部分的【招聘】。

招聘要考察哪些能力?

招聘,首先要確定 job model 。限于篇幅,這里只討論“生產(chǎn)”環(huán)節(jié)所需要的能力。

所處的時(shí)代背景:快速變化,新算法層出不窮。

不變的是什么:數(shù)學(xué)基礎(chǔ)、計(jì)算機(jī)基礎(chǔ)、動(dòng)手能力。

我們很難預(yù)測(cè)新技術(shù)的具體實(shí)現(xiàn),但是當(dāng)新技術(shù)出現(xiàn)的時(shí)候,需要能夠快速地分析、學(xué)習(xí)、掌握。

而且,我們經(jīng)常要解決從來(lái)沒有遇到過(guò)的新問題,這就要求候選人在面對(duì)沒見過(guò)的問題時(shí)具備分析判斷,在具體約束條件下找完整解決方案的能力。

另外,在復(fù)雜的業(yè)務(wù)場(chǎng)景里,問題經(jīng)常沒有確定性的答案,我們往往通過(guò)對(duì)過(guò)程的合理性來(lái)判斷整個(gè)方案是否合乎要求。

尋找答案的過(guò)程很少有一帆風(fēng)順的,大概率會(huì)遭遇挫折,非常需要候選人不斷嘗試不斷修正去抵達(dá)終點(diǎn)。

至于教育背景、之前從業(yè)經(jīng)歷,反而不怎么重要。我不贊成對(duì)于畢業(yè)好幾年的社招候選人還要參考畢業(yè)學(xué)校、最高學(xué)位,甚至本科學(xué)校是否 985 ——如果一個(gè)人能力強(qiáng),是不需要靠學(xué)校學(xué)位來(lái)旁證的,直接用行動(dòng)證明就行了。

對(duì)于候選人的考察,我往往從基礎(chǔ)的硬技能、創(chuàng)新性/開放性思維、精神素質(zhì)三方面考察。

硬技能

數(shù)學(xué):概率論與數(shù)理統(tǒng)計(jì)、矩陣論、隨機(jī)過(guò)程。

計(jì)算機(jī)基礎(chǔ):操作系統(tǒng)、組成原理、數(shù)據(jù)結(jié)構(gòu)。

算法能力:領(lǐng)域內(nèi)主流模型的演進(jìn),優(yōu)缺點(diǎn)對(duì)比;在具體設(shè)定的場(chǎng)景下選擇合適的方案。

動(dòng)手:C++/Python/Java (什么?你說(shuō) Matlab?工業(yè)界里這個(gè)不算編程語(yǔ)言)。

有人說(shuō),面試過(guò)程中要求做代碼測(cè)試,就像相親時(shí)要求看存款證明一樣殘暴。我贊同這個(gè)說(shuō)法,因?yàn)椴簧俸蜻x人聽到要寫代碼就高傲地拒絕了。

我給大家推薦一個(gè)在線代碼測(cè)試工具:

  1. http://collabedit.com 

從我長(zhǎng)期的觀察情況看,發(fā)展得好的算法同學(xué),動(dòng)手能力都比較強(qiáng)。畢竟,算法工程師,首先是一個(gè)工程師。

創(chuàng)新性/開放性思維

其實(shí)我還經(jīng)常干比代碼測(cè)試更令人發(fā)指的事情——做智力題。這個(gè)不是我的創(chuàng)新,是跟 Google 等公司學(xué)來(lái)的,而且是直接找網(wǎng)上流傳的面試題換個(gè)馬甲來(lái)用。

前面的硬技能,看的往往是結(jié)果;這里對(duì)思考能力的考察,看的是過(guò)程:是否有方法論,思路是否清晰,是否言之有據(jù)。所以,這種問題的面試方式往往是討論式。

如果候選人能夠完成,最后再請(qǐng) TA 做個(gè)總結(jié),觀察歸納要點(diǎn)的能力,視線的高度。

有些候選人結(jié)束面試后仍然會(huì)繼續(xù)思考,給出更好的回答。

精神素質(zhì)

公司對(duì)人才的要求是:

  • 樂觀
  • 皮實(shí)
  • 聰明
  • 自省

你看,四個(gè)詞里面有兩個(gè)都在強(qiáng)調(diào)堅(jiān)韌不拔。在面試過(guò)程中,我會(huì)看候選人在解題不順時(shí)的表現(xiàn),有時(shí)甚至故意小刺激一下觀察候選人的反應(yīng),偶爾還會(huì)故意中途改變限制條件。

阿里內(nèi)部競(jìng)爭(zhēng)激烈,經(jīng)常需要擁抱變化,如果心理承受力脆弱,是不適合當(dāng)同路人的。

還有一點(diǎn)很重要:自我驅(qū)動(dòng)力。這是從降低對(duì)內(nèi)管理成本來(lái)要求的,后面會(huì)具體說(shuō)。

在我看來(lái),硬技能、創(chuàng)新性/開放性思維和精神素質(zhì)缺一不可。即使這三方面我都滿意了,如果主管,主管的主管, HR 對(duì)候選人明確提出疑慮,我一般不申辯直接放棄掉。因?yàn)椋麄儽任?level 高,閱人無(wú)數(shù),往往不會(huì)錯(cuò)。

有的同學(xué)會(huì)問:這樣子做,會(huì)不會(huì)錯(cuò)失優(yōu)秀人才?是的,我的方式幾乎可以確保招進(jìn)來(lái)的同學(xué)肯定是好的,但會(huì)漏掉一些優(yōu)秀的候選人,不過(guò)這不會(huì)造成嚴(yán)重的后果。相比之下,招進(jìn)來(lái)不合格的人才會(huì)有大麻煩。

用人

主管的角色是什么?

以前有句話,叫做“火車跑得快,全靠車頭帶”,這說(shuō)的是前動(dòng)車時(shí)代。動(dòng)車和高鐵為什么比傳統(tǒng)的火車速度更快?根本原因是:大多數(shù)車廂都能提供動(dòng)力。

同樣的,如果一個(gè)團(tuán)隊(duì)完全靠主管來(lái)驅(qū)動(dòng),來(lái)提供動(dòng)力,主管很容易成為團(tuán)隊(duì)的瓶頸。

我的團(tuán)隊(duì)成員,很多都是自己領(lǐng)域的高手,專業(yè)能力在我之上,我就應(yīng)該順應(yīng)實(shí)際情況,不要拿自己的愚見去束縛同學(xué)們的發(fā)揮。

因此,我的角色更多的是眺望遠(yuǎn)方,掌握方向盤,有時(shí)踩一下剎車;團(tuán)隊(duì)大多數(shù)同學(xué)一起構(gòu)成動(dòng)力引擎。

[[312627]] 

動(dòng)車/高鐵跑得快,是因?yàn)榇蠖鄶?shù)車廂都提供動(dòng)力

對(duì)內(nèi)管理模式

一個(gè)不恰當(dāng)?shù)谋扔鳎悍叛颉?/p>

這么做,堂而皇之的理由是“因?yàn)樾湃危院?jiǎn)單”。技術(shù)層面的原因,對(duì)算法類同學(xué)做過(guò)程管理性價(jià)比太低。

算法類工作,創(chuàng)造性在其中占據(jù)重要地位,而創(chuàng)造性很難在過(guò)程中量化度量,也很難從外部觀測(cè)現(xiàn)象來(lái)判斷。

比如:身邊的同學(xué)坐在工位直視屏幕目不轉(zhuǎn)睛,我不知道他到底是在思考論文中的公式還是在回味昨天晚上看的電影。

再比如,我 base 在杭州,沒辦法知道團(tuán)隊(duì)內(nèi) base 北京的同學(xué)是不是在工作時(shí)間打游戲。

所以,我選擇信任我的同學(xué),只在一些必須監(jiān)管的事項(xiàng)上把關(guān),比如數(shù)據(jù)安全、安全生產(chǎn)等,其他事項(xiàng)一般不做過(guò)程管理,只做結(jié)果管理。

得益于招聘時(shí)把關(guān)嚴(yán)格,絕大多數(shù)同學(xué)的自我驅(qū)動(dòng)力都比較強(qiáng),我并不用操心偷懶的事情。

相反,偶爾需要操心一下少部分同學(xué)拼過(guò)了頭的問題。關(guān)于這一點(diǎn),更多的內(nèi)容見彩蛋中的【認(rèn)真生活,快樂工作】。

肯定有同學(xué)問:上面說(shuō)的是不擔(dān)心出工不出力,那么,怎么解釋出力的問題呢?你難道不指導(dǎo)同學(xué)做項(xiàng)目嗎?

我一般只給出項(xiàng)目的目標(biāo),有時(shí)給一個(gè)粗略的方案設(shè)想,有時(shí)不給。公司對(duì)于 P6 同學(xué)已經(jīng)有“獨(dú)當(dāng)一面拿結(jié)果” 的要求,大家都應(yīng)該具備獨(dú)立作戰(zhàn)的能力。

而且,按照前面說(shuō)的,團(tuán)隊(duì)內(nèi)大部分同學(xué)都應(yīng)該是提供動(dòng)力的車廂,沒必要依賴我。

人是否有自我意志?這個(gè)問題我不知道答案。但我知道,如果一個(gè)人認(rèn)為主意是自己想出來(lái)的,決定是自己做的,會(huì)更有動(dòng)力去實(shí)現(xiàn)。嘗試做決策,嘗試完成不確定的任務(wù),都有利于自己的成長(zhǎng)。

思考題:管理有很多種 style。有的主管喜歡自己做需求分析,然后拆解細(xì)化到原子級(jí)的技術(shù)問題,讓下屬做執(zhí)行。

這種模式,和“放羊”模式相比,從主管視角,以及下屬視角看,各有什么優(yōu)缺點(diǎn)?

綜合以上兩點(diǎn),我覺得放羊是可行的。而且,放羊這件事,羊倌也是要做很多工作的:選擇合適的天氣,找到草地,把羊群帶到草地,放哨保護(hù)羊群,是不是?如果還要把青草割好喂給羊吃,那成什么了?

羊倌應(yīng)該把更多的精力花在尋找豐美的草地,購(gòu)買強(qiáng)壯的羊,與其他羊倌交流這些事情上,要是成天忙于喂羊,督促偷懶的羊快點(diǎn)吃草,拉開打架的羊這些內(nèi)部事務(wù),羊群怎么發(fā)展壯大?更多的展開見彩蛋中的【因?yàn)樾湃危院?jiǎn)單】。

鼓舞團(tuán)隊(duì)信心,最好的方式是什么?痛痛快快地贏一次。如果不夠,就兩次。

接手團(tuán)隊(duì)的時(shí)候,在商業(yè)化方向上局勢(shì)是很差的:去年三次 PK 競(jìng)品都輸了,穩(wěn)定性問題頻發(fā)以至于新版本都無(wú)法發(fā)布……團(tuán)隊(duì)好幾個(gè)人都撲在這一個(gè)陣地上干得很苦但就是拿不到結(jié)果。

這個(gè)時(shí)候我要是去發(fā)表個(gè)類似《至暗時(shí)刻》里丘吉爾那樣讓人熱血沸騰的演講是否可以解決問題?

可能有短暫的強(qiáng)心劑作用,但是不長(zhǎng)久,因?yàn)閷?shí)際困難沒解決。何況,我也肯定不具備丘吉爾的演說(shuō)能力。

最有用的辦法,還是分析失敗的原因,制定正確的打法,指導(dǎo)同學(xué)們獲得一次成功。鼓舞信心最好的方式還是靠實(shí)實(shí)在在的成功。

結(jié)果大家都看到了,今年我們 PK 競(jìng)品的戰(zhàn)績(jī)是 N:0,付費(fèi)調(diào)用量上漲 25 倍以上。

大家肯定好奇:正確的打法是什么樣的呢?我放在后面《正確地做事》那一節(jié)講。

做有吸引力的事情

目標(biāo)要定得高一些,有挑戰(zhàn)性,達(dá)成的時(shí)候內(nèi)心的成就感會(huì)更高一些。這個(gè)很容易理解,就好比你打游戲,虐了個(gè)菜,沒多少快感;如果能贏下之前屢戰(zhàn)屢敗的對(duì)手,一定會(huì)興奮很久。

我跟部分同學(xué)說(shuō)過(guò),大家的眼光不要局限在三號(hào)樓,也不要局限在聚橙路,而是要放眼世界。

目標(biāo)定得太低,不僅不能逼出自己的潛力,還容易讓自己關(guān)注于一些雞毛蒜皮的小問題。

前幾天,我的主管在一個(gè)項(xiàng)目 kick off 會(huì)上說(shuō),當(dāng)你回首往事時(shí),要有一件做過(guò)的事情能夠拿出來(lái)吹牛逼,人生才有意義。深以為然。

過(guò)程即享受

在阿里的工作肯定是辛苦的,我沒看到過(guò)誰(shuí)能隨隨便便就成功。如果只是沖著收入來(lái)做工作,難免在過(guò)程中會(huì)感覺到很多痛苦。

物質(zhì)的刺激是短暫的,不管是加薪、年終獎(jiǎng),或者 option ,興奮高興個(gè)幾天就過(guò)去了。

如果喜歡自己做的事情,專注于工作本身,從中源源不斷地獲得成就感,就能做到雖然辛苦但是不痛苦。

我家做飯的阿姨是拆遷戶,坐擁 N 套房,每天仍然跑幾家做飯,我問她為什么?

她說(shuō),以前是開“蒼蠅館子”(指那些價(jià)格低廉鋪面窄小的飯館)的,拆遷后沒得開了,但是自己就是喜歡做飯。理想狀況下就是要招聘這種人。

采取什么工作模式?——正確地做事

四個(gè)在線化

互聯(lián)網(wǎng)的本質(zhì)是連接,最大價(jià)值也是連接。

這句話不知道是誰(shuí)說(shuō)的,第一次聽說(shuō)是在《計(jì)算機(jī)網(wǎng)絡(luò)》課程上。互聯(lián)網(wǎng)連接的可以是人和人,人和文檔,人和數(shù)據(jù),人和代碼,人和……和一切你工作中需要的東西。

接手團(tuán)隊(duì)之后,我發(fā)現(xiàn)同學(xué)們的工作模式真的是自耕農(nóng)一般:各做各的模型,各用各的數(shù)據(jù),各讀各的 paper ,完全是原子化的散點(diǎn)存在。

說(shuō)得不客氣一點(diǎn),除了聚餐的時(shí)候,平時(shí)感覺不到這是一個(gè)組織。也就是說(shuō),身處中國(guó)頂級(jí)互聯(lián)網(wǎng)公司,大家卻像農(nóng)業(yè)社會(huì)時(shí)期一樣在進(jìn)行生產(chǎn),當(dāng)著不折不扣的“碼農(nóng)”。

團(tuán)隊(duì)里一個(gè)同學(xué)說(shuō)得很好:相互間建立信任關(guān)系的最好辦法是發(fā)生工作上的協(xié)同。

我覺得,要發(fā)生工作上的協(xié)同,前提就是把工作相關(guān)的資源都在線化,與組織成員發(fā)生連接,于是,我設(shè)想做四個(gè)在線化。

 

文檔、數(shù)據(jù)、代碼、評(píng)測(cè)在線化

①文檔在線化:春節(jié)期間我建了個(gè)團(tuán)隊(duì)語(yǔ)雀,自己做頂層設(shè)計(jì),寫好框架,然后讓同學(xué)們把業(yè)務(wù)、技術(shù)、資源、技術(shù)影響力等等和工作相關(guān)的內(nèi)容都填寫其中。

這樣子,每個(gè)同學(xué)都可以看到團(tuán)隊(duì)的各種信息和資源,以及其他人的工作。目前團(tuán)隊(duì)的語(yǔ)雀還對(duì)部分關(guān)聯(lián)緊密的兄弟團(tuán)隊(duì)完全開放。

②數(shù)據(jù)在線化:如果同學(xué)們各自管理自己的數(shù)據(jù),形成數(shù)據(jù)孤島不說(shuō),發(fā)生機(jī)器重裝,或者轉(zhuǎn)崗、離職,往往數(shù)據(jù)就丟了。

接手的時(shí)候,能清理出來(lái)的有標(biāo)簽數(shù)據(jù)遠(yuǎn)遠(yuǎn)低于應(yīng)有的數(shù)量,就是因?yàn)橐恢睕]有做數(shù)據(jù)的在線化管理。

團(tuán)隊(duì)里的言奇同學(xué)做了樣本大表項(xiàng)目,已經(jīng)完成了將整個(gè)智能認(rèn)知團(tuán)隊(duì)的全面標(biāo)簽數(shù)據(jù)在線化。

這一點(diǎn)非常重要,后續(xù)在開發(fā)各種新模型,以及做預(yù)訓(xùn)練模型時(shí),就擁有不同業(yè)務(wù)不同場(chǎng)景不同風(fēng)險(xiǎn)的大量數(shù)據(jù),在短時(shí)間內(nèi)取得了良好的效果。

③代碼在線化:這個(gè)正在進(jìn)行中,預(yù)期 S2 結(jié)束時(shí)完成。

出發(fā)點(diǎn)是:

  • 代碼是團(tuán)隊(duì)重要的技術(shù)資產(chǎn),應(yīng)該統(tǒng)一管理,提高安全性。
  • 在線化后方便團(tuán)隊(duì)協(xié)作,共享優(yōu)秀代碼。
  • 基礎(chǔ)性模塊代碼統(tǒng)一,降低維護(hù)成本。

④評(píng)測(cè)在線化:也在進(jìn)行中,設(shè)想是在一些特定任務(wù)上做幾種經(jīng)典模型和確認(rèn)無(wú)誤的主流模型,能夠一鍵實(shí)現(xiàn)自己的模型和前者的自動(dòng)化比對(duì),提升工作效率。

除此之外還有個(gè)作用:經(jīng)典模型的結(jié)果可以作為 baseline,幫助驗(yàn)證深度模型的正確性。

因?yàn)椋阕隽艘粋€(gè)深度模型,效果好也就罷了,效果不好的時(shí)候都搞不清楚是模型不適用,還是自己的代碼寫錯(cuò)了。

找對(duì)前進(jìn)的方向

主管最重要的職責(zé)之一是當(dāng)同學(xué)們迷茫的時(shí)候明確前進(jìn)的方向。

接著前面商業(yè)化的例子,詳細(xì)情況是這樣的:我們通過(guò)阿里云對(duì)外輸出文本風(fēng)險(xiǎn)識(shí)別的算法能力做商業(yè)化,比如涉政、色情低俗、廣告、辱罵等。

我接手的時(shí)候,有 3-4 個(gè)同學(xué)全職投入這項(xiàng)工作,他們工作非常努力,干得也很辛苦,但是效果并不好, PK 競(jìng)品的時(shí)候并無(wú)勝算。出了什么問題呢?

分析之后,我發(fā)現(xiàn)以下問題:

①確實(shí)是一個(gè)內(nèi)容維度的問題,但只使用了分類模型一種方式。

分類模型適合解決靜態(tài)標(biāo)準(zhǔn)的問題,并不適合及時(shí)響應(yīng)業(yè)務(wù)上的快速變化。模型迭代更新的速度做到極限也只能是 T+1 或者 T+2 天,且人力消耗高。

之前的主管為了解決這個(gè)問題,在分類模型中塞了一個(gè)風(fēng)險(xiǎn)詞包,由算法同學(xué)維護(hù)更新,接到運(yùn)營(yíng)反饋的 badcase 之后手動(dòng)添加到風(fēng)險(xiǎn)詞包,然后定時(shí)推送到分類模型應(yīng)用中。

這個(gè)復(fù)雜的機(jī)制帶來(lái)了詞典的頻繁構(gòu)建,結(jié)果導(dǎo)致應(yīng)用的穩(wěn)定性問題頻發(fā),甚至已經(jīng)無(wú)法更新。

②缺乏頂層設(shè)計(jì),同學(xué)們各自為戰(zhàn)。

幾個(gè)風(fēng)險(xiǎn)各自單獨(dú)做模型,技術(shù)選型高度自由,百花齊放,starspace、SVM、CRF、kenlm、textCNN 都有,難以統(tǒng)一提升能力,維護(hù)的難度大。

③做了過(guò)多的個(gè)性化定制,導(dǎo)致后續(xù)維護(hù)和升級(jí)的成本非常高。

幾乎為每一個(gè)稍微大一點(diǎn)的用戶都單獨(dú)做了模型,付費(fèi)調(diào)用量不大,模型倒是有了好幾十個(gè)。同學(xué)們頻繁地做模型的迭代更新(每周都至少有 1-2 次),占用大量人力。

怎么辦呢?建設(shè)技術(shù)體系去解決某一類問題,而不是某個(gè)技術(shù)點(diǎn)去解決某一個(gè)問題;結(jié)合安全業(yè)務(wù)的特點(diǎn),設(shè)計(jì)可以強(qiáng)化通用算法效果的基礎(chǔ)能力或處理框架。

上面兩句話不是我說(shuō)的,來(lái)源于前主管。(插一句:本文還有一些內(nèi)容來(lái)源于前主管和主管,向主管學(xué)習(xí)是提升自己的一個(gè)重要途徑。)

具體來(lái)說(shuō),解法有幾點(diǎn):

  • 明確風(fēng)險(xiǎn)詞包、相似性檢索、分類模型、風(fēng)險(xiǎn)知識(shí)圖譜 4 種手段適合完成的任務(wù),且相互配合。
  • 把風(fēng)險(xiǎn)詞包從分類模型中拆出來(lái),降低應(yīng)用的復(fù)雜度,以及模型迭代的頻率,解決穩(wěn)定性問題。
  • 分類模型的結(jié)構(gòu)盡可能統(tǒng)一,標(biāo)準(zhǔn)盡可能不變,持續(xù)把效果做強(qiáng)。
  • 自從 BERT 提出以來(lái),NLP 問題的基本范式從原來(lái)的 task-specific 的模型結(jié)構(gòu)設(shè)計(jì)轉(zhuǎn)變到語(yǔ)言模型 pretrain+ 下游任務(wù) finetuning 的模式。工作重點(diǎn)應(yīng)該轉(zhuǎn)向預(yù)訓(xùn)練模型與知識(shí)蒸餾。

由于目前對(duì)內(nèi)的內(nèi)容交互風(fēng)險(xiǎn)管控業(yè)務(wù)也在我的團(tuán)隊(duì)內(nèi),我就貼一張全局視角的問題分析與解決方案。

 

全局視角的 UGC 風(fēng)險(xiǎn)管控思路

明確解法之后,同學(xué)們快速做了實(shí)踐,到 4 月份就基本扭轉(zhuǎn)了被動(dòng)的局面,隨后打了翻身仗,付費(fèi)調(diào)用量增長(zhǎng) 25 倍。

現(xiàn)在模型的更新周期降低到以月為周期,穩(wěn)定性大幅度提升,同學(xué)們也不再疲于奔命;而且,投入的人力也明顯下降了。

績(jī)效的考核

績(jī)效考核決定了收益的分配,也是團(tuán)隊(duì)最重要的事情之一。

如果把團(tuán)隊(duì)比作一個(gè)模型,考核的標(biāo)準(zhǔn)就是 loss function。loss function 一旦確定,模型的優(yōu)化方向也就定了,團(tuán)隊(duì)成員會(huì)按照利益最大化原則沿著這個(gè)方向調(diào)整自己的 action 。

所以,考核標(biāo)準(zhǔn)的設(shè)計(jì)需要體現(xiàn)團(tuán)隊(duì)的定位、價(jià)值和需求;在執(zhí)行的過(guò)程中需要滿足平等性。

 

績(jī)效考核的 3 個(gè)維度

業(yè)務(wù)結(jié)果

阿里有個(gè)文雅的說(shuō)法是:為過(guò)程鼓掌,為結(jié)果付酬。還有個(gè)話糙理不糙的說(shuō)法是:沒有過(guò)程的結(jié)果是垃圾,沒有結(jié)果的過(guò)程是放屁。你覺得哪一句對(duì)你的胃口就看哪一句。

配置在業(yè)務(wù) BU 的算法團(tuán)隊(duì),幫助業(yè)務(wù)目標(biāo)達(dá)成肯定是首要任務(wù)。今年以來(lái),AI 行業(yè)也都漸漸擠出泡沫,回歸本質(zhì),開始強(qiáng)調(diào)創(chuàng)造業(yè)務(wù)價(jià)值了。

能力進(jìn)步

從價(jià)值觀上講,今天的最好表現(xiàn)是明天的最低要求。

從業(yè)務(wù)需求講,量級(jí)越來(lái)越大,業(yè)務(wù)形態(tài)越來(lái)越復(fù)雜,老算法是解決不了新問題的。

從團(tuán)隊(duì)利益講,成員的能力進(jìn)步可以擴(kuò)展團(tuán)隊(duì)的能力雷達(dá)圖。

參加百阿的時(shí)候,一位講師的發(fā)言我到現(xiàn)在都記得:在座的各位最終都是要離開阿里的,離開的時(shí)候無(wú)非兩種情況:

公司不要你了。

你不要公司了。

怎么離開,取決于是你的能力提高快,還是公司對(duì)能力的要求提高快。

技術(shù)影響力

什么是技術(shù)影響力?

有形物:Paper 、競(jìng)賽成績(jī)、著作、專利、 ATA 文章等。

無(wú)形物:對(duì)內(nèi)對(duì)外合作、對(duì)外 PR 、對(duì)內(nèi)分享、組織機(jī)構(gòu)任職、參會(huì)做報(bào)告等。

為什么要建設(shè)技術(shù)影響力?

原因有如下幾點(diǎn):

  • 團(tuán)隊(duì)的四項(xiàng)基本能力:連接、生產(chǎn)、傳播、服務(wù),其中“傳播”就需要技術(shù)影響力。
  • CRO 線的使命“四心”中,有一條叫“讓監(jiān)管單位放心”。技術(shù)影響力是讓監(jiān)管放心的有效方式之一。
  • 商業(yè)化需要資質(zhì):搞過(guò)投標(biāo)的同學(xué)都知道。
  • 招聘需要名氣:對(duì)候選人講解我們的技術(shù)水平時(shí),如果用內(nèi)部業(yè)務(wù)舉例,不容易產(chǎn)生共鳴;但是如果直接亮出頂會(huì)論文、刷榜名次之類的,對(duì)方馬上就懂了。
  • 個(gè)人的市場(chǎng)價(jià)值需要證明:這些東西都可以作為個(gè)人技術(shù)品牌,到哪都能帶著。

假定一個(gè)場(chǎng)景,有人問:“你說(shuō)這個(gè)業(yè)務(wù)做得好,說(shuō)明你的算法水平高。會(huì)不會(huì)換一個(gè)人能夠做得更好?”你打算怎么回答這個(gè)問題?

再假定一個(gè)場(chǎng)景,你打算給自己團(tuán)隊(duì)的算法能力定性為“xx 領(lǐng)先”或者“xx 第一梯隊(duì)”,如果沒有硬核的技術(shù)影響力做支撐,是否還能理直氣壯?

平等性

團(tuán)隊(duì)協(xié)作的基礎(chǔ)是團(tuán)結(jié),團(tuán)結(jié)的基礎(chǔ)是平等。

平等性最重要的體現(xiàn),就是在考核過(guò)程中盡可能只衡量以上三項(xiàng),不去考慮地域、教育背景、從業(yè)經(jīng)歷、之前表現(xiàn)、顏值、性別、個(gè)人動(dòng)向等等其他因素。

我認(rèn)為:結(jié)果體現(xiàn)的就是能力,直截了當(dāng),最能服眾。

當(dāng)然,這個(gè)世界上是否有完全客觀的判斷?或者,完全客觀的判斷如果存在,是不是就是最合適的?

我不知道答案。不過(guò),我覺得不能因?yàn)樽霾坏酵耆钠降榷艞壸非笃降取?/p>

彩蛋

感謝你耐心地堅(jiān)持看到這里,作為獎(jiǎng)勵(lì),我故意把正文里一些重要內(nèi)容放在了這里,尤其是像招聘這種主管的核心技能。

招聘

招聘是主管的基本功;招聘做好了,團(tuán)隊(duì)已經(jīng)成功了一半。

之前在 CV 團(tuán)隊(duì),不光給自己招,也給幾乎所有兄弟團(tuán)隊(duì)招,很高興地看到這些同學(xué)已經(jīng)在建功立業(yè)了。

先擺一下這幾年來(lái)招聘任務(wù)的量:

 

幾年來(lái)累積的招聘任務(wù)數(shù)量

大家肯定會(huì)問:這么多簡(jiǎn)歷,哪來(lái)的?我所在的 BU 在外知名度還不算高,很少能收到主動(dòng)投遞的簡(jiǎn)歷,所謂的合作獵頭從來(lái)就沒起到過(guò)作用,只能自己想辦法。

來(lái)源包括:

  • 采蜜
  • 社交網(wǎng)站
  • 內(nèi)推
  • 去各種會(huì)上收

希望以后團(tuán)隊(duì)的對(duì)外影響力越來(lái)越大,我能夠躺著被簡(jiǎn)歷淹死。

再掰開了說(shuō),以采蜜為例,就有很多苦操作,比如之前社招簡(jiǎn)歷是每天夜里12點(diǎn)超期釋放,就天天蹲守;校招公海池是每天晚上 8 點(diǎn)開閘,就要天天拼手速;還有候選人被其他 BU 持有不放,就各種協(xié)調(diào)乃至扯皮……

舉個(gè)例子,大團(tuán)隊(duì)內(nèi)有位同學(xué),當(dāng)初我是在出差路上,出租車上掛上 VPN 搶到的簡(jiǎn)歷。

在招聘中,我發(fā)現(xiàn)一個(gè)現(xiàn)象:當(dāng)你只接觸過(guò)百級(jí)別的候選人時(shí),不容易招到人;但是如果你接觸過(guò)千級(jí)別的候選人,招聘的難度明顯下降了。

原因大約是,在廣撒網(wǎng)的過(guò)程中積累了一個(gè)高可能性的候選人池子,池子的規(guī)模大到一定程度,產(chǎn)生合適的候選人就不那么難了。

關(guān)于“嫡系”

從 CV 團(tuán)隊(duì)換到 NLP 團(tuán)隊(duì)接手的時(shí)候, HR 詢問是否需要從原團(tuán)隊(duì)帶一個(gè)人到新團(tuán)隊(duì)。

我考慮之后答復(fù)不帶。因?yàn)椋倚枰焖俚睾托聢F(tuán)隊(duì)的同學(xué)們建立信任感,并且全心全意地依靠他們。

如果我?guī)б粋€(gè)同學(xué)過(guò)去,新團(tuán)隊(duì)的同學(xué)怎么看?他們會(huì)在心里說(shuō):看,那個(gè)人是主管帶過(guò)來(lái)的,是親信。

這樣很容易在我和同學(xué)之間產(chǎn)生距離與疑慮。同樣的,原來(lái)團(tuán)隊(duì)的同學(xué)會(huì)想:看,主管帶走的那個(gè)人是他最信任的,我不是。

團(tuán)隊(duì)的持續(xù)發(fā)展需要海納百川,搞出類似“嫡系”和“非嫡系”這種分群,長(zhǎng)久來(lái)看是會(huì)制約團(tuán)隊(duì)能達(dá)到的的高度,也會(huì)制約主管的高度。

因?yàn)樾湃危院?jiǎn)單

除了出勤之類,在工作成果的真實(shí)性上主管也只能選擇信任下屬,原因很簡(jiǎn)單:如果 10 個(gè)下屬每周報(bào)告的結(jié)果,主管都去親手驗(yàn)證一遍,可能一個(gè)星期還不夠。

但是,信任同時(shí)也是很容易被打破的——一旦主管發(fā)現(xiàn)下屬報(bào)告的結(jié)果有故意虛報(bào)浮夸的部分,后續(xù)就很難再默認(rèn)信任 TA 。

類似的,某些人的周報(bào)總是花團(tuán)錦簇高歌猛進(jìn),但是一年下來(lái)模型的效果效率并沒有提升,大家只能選擇默認(rèn)不相信。

前面說(shuō)的都是主管要信任下屬,大家思考一個(gè)問題:下屬是否需要默認(rèn)信任主管呢?為什么?

認(rèn)真生活,快樂工作

阿里有句老話:加班是對(duì)的,不加班也是對(duì)的,只有不完成工作是不對(duì)的。

我從內(nèi)心里不喜歡長(zhǎng)時(shí)間高強(qiáng)度加班。為了趕一下進(jìn)度,階段性地溫和加班一下,是可以接受的。

如果長(zhǎng)期需要高強(qiáng)度加班,那一定是主管的計(jì)劃、評(píng)估或者安排出了問題。

最近剛和兩個(gè)同學(xué)聊過(guò),因?yàn)樗麄兓丶姨砘蛘咧苣﹣?lái)公司加班,我擔(dān)心是自己有什么做錯(cuò)了。

當(dāng)然了,這一點(diǎn)我自己做得也不好,尤其是接手初期百?gòu)U待興的時(shí)候,經(jīng)常工作到很晚,周末做幾個(gè)面試。

前些天做新六脈神劍培訓(xùn),傳橙官說(shuō)得特別好:“認(rèn)真生活,快樂工作”這一條,主管要以身作則,帶頭做好——如果你自己都苦哈哈的,下面的同學(xué)怎么快樂得起來(lái)?

深以為然,于是我打算堅(jiān)決落實(shí)領(lǐng)導(dǎo)指示,定個(gè)小目標(biāo):每周三天按時(shí)下班,目前已經(jīng)堅(jiān)持了三個(gè)星期。

參考文獻(xiàn):吳軍的《見識(shí)》、《態(tài)度》、《格局》、《浪潮之巔》、《全球科技通識(shí)》。本文中一些內(nèi)容的源頭來(lái)自以上書籍。

作者:張榮,花名威視

簡(jiǎn)介:現(xiàn)任職阿里巴巴 CRO 線 NLP 算法團(tuán)隊(duì) Leader ,長(zhǎng)期聚焦于 NLP 、圖像識(shí)別、視頻分析算法領(lǐng)域,面向整個(gè)經(jīng)濟(jì)體提供信息治理、數(shù)據(jù)安全、商品、人機(jī)等多個(gè)方向的算法能力,并通過(guò)商業(yè)化服務(wù)于社會(huì)。目前致力于基于風(fēng)險(xiǎn)知識(shí)的 NLP 算法建設(shè)。

 

責(zé)任編輯:武曉燕 來(lái)源: 阿里巴巴中間件
相關(guān)推薦

2020-02-03 16:03:36

疫情思考

2009-06-25 09:50:32

JSF

2022-08-23 09:36:25

數(shù)據(jù)遷移

2022-06-10 09:27:27

Leader思考技巧

2020-11-02 08:24:34

Leader技術(shù)團(tuán)隊(duì)

2011-11-30 15:57:18

2022-07-07 10:33:17

技術(shù)領(lǐng)導(dǎo)管理

2019-10-12 09:28:50

技術(shù)業(yè)務(wù)危機(jī)

2019-09-17 09:21:01

2018-07-11 14:06:04

數(shù)據(jù)質(zhì)量數(shù)據(jù)治理數(shù)據(jù)清洗

2017-12-21 07:54:07

2017-09-01 12:48:34

DevSecOps安全運(yùn)維

2020-07-14 09:23:49

安全運(yùn)營(yíng)甲方乙方

2018-06-14 09:35:35

2021-06-10 10:02:19

優(yōu)化緩存性能

2011-08-01 10:37:29

軟件項(xiàng)目管理

2015-03-30 11:21:27

編程編程反思

2013-04-19 10:01:19

jQueryJS

2021-01-14 23:24:38

incaseforma蠕蟲病毒

2024-10-28 09:02:12

點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

国产精品亚发布| 欧美刺激午夜性久久久久久久| 老司机精品福利在线观看| aaa人片在线| 西野翔中文久久精品国产| 一本大道久久a久久精品综合| 亚洲国产欧美一区二区三区不卡| 国产一区二区三区中文字幕| 国产中文一区| 亚洲色图五月天| 一级 黄 色 片一| 看黄在线观看| 日韩美女视频一区| 国产三区二区一区久久| 中文字幕+乱码+中文乱码91| 欧美日本国产| 日韩中文在线不卡| 鲁大师私人影院在线观看| 福利一区视频| 亚洲福利国产精品| 亚洲一区二区三区午夜| 蜜桃av噜噜一区二区三区麻豆| 日韩成人av影视| 久久91亚洲人成电影网站| 国产精品久久不卡| 久久综合给合| 欧美日韩午夜在线视频| 丁香六月激情婷婷| 欧美极品另类| 99精品在线观看视频| 国产精品视频专区| 国产乡下妇女做爰视频| 99久久综合| 一本大道久久加勒比香蕉 | 免费在线欧美黄色| 欧美刺激性大交免费视频| 天天躁夜夜躁狠狠是什么心态| 一区二区三区亚洲变态调教大结局| 91久久香蕉国产日韩欧美9色| 97超碰国产精品| 日本在线免费播放| 国产亚洲人成网站| 久久久久se| 日本激情一区二区三区| 国产福利一区二区三区在线视频| 国产精品一二区| 波多野结衣日韩| 久久精品亚洲| 欧亚精品在线观看| 国产欧美日韩另类| 1024成人| …久久精品99久久香蕉国产| 国产一级片网址| 国内成人在线| 欧美高清第一页| 久久r这里只有精品| 亚洲精品va| 久久久国产精品亚洲一区| 日日操免费视频| 色综合狠狠操| 日韩中文字幕视频| 69夜色精品国产69乱| 色综合咪咪久久网| 日韩一级黄色av| www.xxxx日本| 一区二区三区网站| 欧美乱大交xxxxx| 久久国产露脸精品国产| 亚洲乱亚洲高清| 欧美综合第一页| 天堂网一区二区| 奇米在线7777在线精品| 91精品免费看| xxxx国产精品| aaa欧美日韩| 日本电影一区二区三区| 91在线导航| 亚洲视频一区在线| 久久av综合网| 日韩av影片| 欧美性欧美巨大黑白大战| 久久国产这里只有精品| 日韩一区二区三区精品| 亚洲电影第1页| 国产精品1000部啪视频| 凹凸成人精品亚洲精品密奴| 久久综合久久美利坚合众国| 久草视频精品在线| 久久一区视频| 91久久久久久久久久| 黄色av网站免费在线观看| 99久久久国产精品| 神马影院午夜我不卡影院| 国产精品刘玥久久一区| 午夜私人影院久久久久| 男女啪啪网站视频| 伊人久久大香线蕉av超碰| 亚洲欧美激情视频| 天天做夜夜爱爱爱| 国产欧美综合一区二区三区| 国产精品成人v| 成人h动漫精品一区二区无码 | 国产区一区二区| 岛国最新视频免费在线观看| 亚洲免费资源在线播放| 农村妇女精品一二区| 激情久久免费视频| 亚洲美女久久久| 国产一二三区精品| 欧美中文日韩| av色综合网| av中文字幕在线| 精品magnet| 亚洲欧美天堂在线| 九一精品国产| 久久久噜噜噜久久中文字免| 中文字幕91爱爱| 99免费精品视频| 国内外成人激情免费视频| 秋霞伦理一区| 欧美va日韩va| frxxee中国xxx麻豆hd| 久久久久久久波多野高潮日日| 亚洲xxxx在线| 中国日本在线视频中文字幕| 疯狂做受xxxx高潮欧美日本| 老女人性生活视频| blacked蜜桃精品一区| 91精品国产99| 亚洲精品喷潮一区二区三区| 国产精品久久久久久久久动漫| 国产亚洲综合视频| 成人台湾亚洲精品一区二区| 久久久av电影| 在线亚洲欧美日韩| 国产拍欧美日韩视频二区| 国产午夜福利100集发布| 视频免费一区二区| 日韩中文字幕免费看| 国产九色91回来了| 久久久天堂av| 免费欧美一级视频| 嫩草国产精品入口| 午夜精品久久久久久久久久久久久 | 黄色美女网站在线观看| 亚洲一区二区精品3399| 中文字幕在线视频一区二区| 国产精品国产三级国产在线观看 | 国产欧美日韩三区| 老司机午夜av| 国产欧美久久一区二区三区| 欧美最顶级的aⅴ艳星| 色视频免费在线观看| 午夜精品在线视频一区| 亚洲男女在线观看| 伊人久久大香线蕉综合热线| 国产精品日韩高清| av有码在线观看| 亚洲护士老师的毛茸茸最新章节 | 精品51国产黑色丝袜高跟鞋| 欧美日韩精品一区视频| 日本猛少妇色xxxxx免费网站| 日韩电影免费在线看| 视频一区视频二区视频三区高| 中文日产幕无线码一区二区| 精品无人区太爽高潮在线播放| 亚洲影院在线播放| 欧美激情一区二区三区蜜桃视频| av网站在线不卡| 久久在线免费| 亚洲www在线| 国产亚av手机在线观看| 亚洲精品按摩视频| 欧美一区二区三区久久久| 日本一区二区高清| 在线免费看污网站| 亚洲先锋成人| 欧美在线3区| 亚洲欧洲二区| 国内精品模特av私拍在线观看| 亚洲av成人精品一区二区三区在线播放| 精品久久在线播放| 97人妻人人揉人人躁人人| 精品一区二区日韩| 被灌满精子的波多野结衣| 天堂99x99es久久精品免费| 欧美在线观看网站| 无遮挡的视频在线观看| 日韩一级黄色大片| 日韩精品一区二区三| 国产日韩欧美精品一区| 国内精品国产三级国产aⅴ久| 黄色亚洲精品| 青青草成人激情在线| 国产午夜亚洲精品一级在线| 97在线视频国产| 国产视频在线看| 日韩欧美国产麻豆| 精品成人无码久久久久久| 亚洲美女免费视频| 三上悠亚ssⅰn939无码播放 | jizz在线免费观看| 欧美成人一区二区三区片免费| 欧产日产国产69| 玉米视频成人免费看| 97人妻精品一区二区免费| 国产乱码一区二区三区| 热久久精品国产| 在线看片一区| 波多野结衣激情| 国产成人短视频在线观看| 97国产超碰| 成人午夜在线| 88xx成人精品| 欧美性video| 中文字幕在线看视频国产欧美在线看完整| 国内毛片毛片毛片毛片| 欧美亚洲综合另类| 日本高清www免费视频| 亚洲视频一二区| 337人体粉嫩噜噜噜| 97超碰欧美中文字幕| 51自拍视频在线观看| 免费成人小视频| 午夜肉伦伦影院| 亚洲精品1区2区| 麻豆一区二区三区在线观看| 成人午夜av| 免费成人av网站| 极品尤物一区| 国产高清自拍一区| 国产亚洲亚洲国产一二区| 国产精品99久久久久久白浆小说 | 亚洲永久在线观看| 九九九精品视频| 国产精品高潮视频| 免费成人直播| 2019日本中文字幕| 欧美极品videos大乳护士| 欧美黑人xxxx| 午夜羞羞小视频在线观看| 久久精品视频va| 欧美精品hd| 日韩在线www| 日本视频在线播放| 日韩一区二区三区xxxx| 69av亚洲| 尤物tv国产一区| 91caoporm在线视频| 中文字幕精品国产| 91精品大全| 色悠悠久久久久| 欧美精品电影| 欧美猛交ⅹxxx乱大交视频| www视频在线免费观看| 美女久久久久久久久久久| 国产黄色小视频在线| 久久综合88中文色鬼| 在线观看av免费| 久久久久久久久久久免费 | 可以看的av网址| 成人一区二区视频| 亚洲一级av无码毛片精品| 91免费国产在线| av网在线播放| 国产精品乱码妇女bbbb| 三级黄色在线观看| 亚洲黄色av一区| 国产免费观看av| 欧美在线视频全部完| 亚洲一级视频在线观看| 欧美一卡在线观看| 少妇精品视频一区二区| 日韩精品有码在线观看| 成人在线观看网站| 精品国产一区二区三区在线观看| www红色一片_亚洲成a人片在线观看_| 欧美老妇交乱视频| free性m.freesex欧美| 国产97在线|日韩| www.久久爱.com| 国产精品久久久久久久久久久久冷 | 欧洲第一无人区观看| 午夜精品福利在线| 成人黄色片在线观看| 91精品国产综合久久久蜜臀图片| 亚洲精品一区二区口爆| 亚洲欧美综合区自拍另类| 久久99精品久久久久久野外| 国产做受高潮69| 国产综合色在线观看| av蓝导航精品导航| 欧美日韩一区二区三区不卡视频| 亚洲精品久久久久久一区二区| 在线一区免费| www日韩视频| 国产精品538一区二区在线| 精品国产人妻一区二区三区| 国产精品护士白丝一区av| 日韩高清免费av| 欧美日韩精品久久久| 欧美一级一区二区三区| 亚洲一区二区精品| 99热99re6国产在线播放| 国产精品爽爽ⅴa在线观看| 欧美五码在线| 色婷婷777777仙踪林| 久久国产精品久久w女人spa| 成人一区二区三区仙踪林| 国产精品福利在线播放| 性无码专区无码| 精品美女在线播放| 香蕉视频在线免费看| 91精品国产高清久久久久久91| 国产精品1区| 亚洲欧美日韩精品在线| 国产精品日韩| 成年人看片网站| 最新热久久免费视频| 国产伦精品一区二区三区视频我| 日韩欧美你懂的| 男人资源在线播放| 国产精品第二页| 在线看成人短视频| 国产av国片精品| 国产精品一区免费视频| 少妇高潮惨叫久久久久| 一本色道久久综合亚洲精品按摩| 粉嫩av一区二区夜夜嗨| 久久精品中文字幕电影| 国产成人午夜性a一级毛片| 欧美成人一区二区在线| 亚洲精华国产欧美| 午夜不卡久久精品无码免费| 一级精品视频在线观看宜春院| 亚洲一二区视频| 深夜福利日韩在线看| 日韩欧美少妇| 日韩av一区二区三区在线| av成人毛片| 久久久午夜精品福利内容| 亚洲综合丝袜美腿| 不卡视频免费在线观看| 欧美黄色片在线观看| 亚洲一区网址| 2018中文字幕第一页| 成人一区在线看| 国产成人无码一区二区三区在线| 亚洲成成品网站| 成年女人在线看片| 国外成人免费视频| 夜夜嗨一区二区| 无码人妻精品一区二区三区温州 | 狼人精品一区二区三区在线| 精品少妇在线视频| 91一区二区在线| 亚洲s码欧洲m码国产av| 亚洲人成电影网站色www| 欧美黄色三级| 台湾成人av| 激情综合网av| 欧美成人精品一区二区免费看片| 日韩精品一区二区三区在线| 欧洲中文在线| 国产乱人伦精品一区二区| 国产欧美日韩综合一区在线播放| 中文字幕国产综合| 欧美亚洲国产怡红院影院| 三区四区在线视频| 1区1区3区4区产品乱码芒果精品| 亚洲天堂久久| 日韩av在线看免费观看| 欧美日韩另类一区| 最新超碰在线| 久久精品ww人人做人人爽| 日韩精品欧美成人高清一区二区| 99久久久无码国产精品不卡| 欧美va日韩va| 九九热线视频只有这里最精品| 亚洲视频在线二区| 国产成人免费视频| 男人天堂2024| 久久亚洲精品成人| 极品国产人妖chinesets亚洲人妖| 日韩在线第三页| 亚洲综合一区二区| 理论视频在线| 91成人伦理在线电影| 亚洲一区日韩| 成人免费视频国产免费观看| 亚洲国产精品va| 粉嫩91精品久久久久久久99蜜桃 | 视频精品一区二区| www欧美com| 亚洲欧美在线一区二区| 无码国模国产在线观看| 久草在在线视频| 亚洲综合在线第一页| 伊人免费在线| 久久婷婷人人澡人人喊人人爽|