[[199326]]

近年來，人工智能的強(qiáng)勢(shì)崛起，特別是去年AlphaGo和韓國九段棋手李世石的人機(jī)大戰(zhàn)，讓我們深刻地領(lǐng)略到了人工智能技術(shù)的巨大潛力。數(shù)據(jù)是載體，智能是目標(biāo)，而機(jī)器學(xué)習(xí)是從數(shù)據(jù)通往智能的技術(shù)、方法途徑。因此，機(jī)器學(xué)習(xí)是數(shù)據(jù)科學(xué)的核心，是現(xiàn)代人工智能的本質(zhì)。

通俗地說，機(jī)器學(xué)習(xí)就是從數(shù)據(jù)中挖掘出有價(jià)值的信息。數(shù)據(jù)本身是無意識(shí)的，它不能自動(dòng)呈現(xiàn)出有用的信息。怎樣才能找出有價(jià)值的東西呢?***步要給數(shù)據(jù)一個(gè)抽象的表示;接著基于表示進(jìn)行建模;然后估計(jì)模型的參數(shù)，也就是計(jì)算;為了應(yīng)對(duì)大規(guī)模的數(shù)據(jù)所帶來的問題，我們還需要設(shè)計(jì)一些高效的實(shí)現(xiàn)手段，包括硬件層面和算法層面。統(tǒng)計(jì)是建模的主要工具和途徑，而模型求解大多被定義為一個(gè)優(yōu)化問題或后驗(yàn)抽樣問題，具體地，頻率派方法其實(shí)就是一個(gè)優(yōu)化問題。而貝葉斯模型的計(jì)算則往往牽涉蒙特卡羅(Monte Carlo) 隨機(jī)抽樣方法。因此，機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)和統(tǒng)計(jì)學(xué)的交叉學(xué)科。

借鑒計(jì)算機(jī)視覺理論創(chuàng)始人馬爾 (Marr) 的關(guān)于計(jì)算機(jī)視覺的三級(jí)論定義，我把機(jī)器學(xué)習(xí)也分為三個(gè)層次：初級(jí)、中級(jí)和高級(jí)。初級(jí)階段是數(shù)據(jù)獲取以及特征的提取。中級(jí)階段是數(shù)據(jù)處理與分析，它又包含三個(gè)方面：首先是應(yīng)用問題導(dǎo)向，簡(jiǎn)單地說，它主要應(yīng)用已有的模型和方法解決一些實(shí)際問題，這可以理解為數(shù)據(jù)挖掘;其次，根據(jù)應(yīng)用問題的需要，提出和發(fā)展模型、方法和算法以及研究支撐它們的數(shù)學(xué)原理或理論基礎(chǔ)等，這則是機(jī)器學(xué)習(xí)學(xué)科的核心內(nèi)容;第三，通過推理達(dá)到某種智能。高級(jí)階段是智能與認(rèn)知，即實(shí)現(xiàn)智能的目標(biāo)。數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)本質(zhì)上是一樣的，其區(qū)別是數(shù)據(jù)挖掘更接近于數(shù)據(jù)端，而機(jī)器學(xué)習(xí)則更接近于智能端。

統(tǒng)計(jì)與計(jì)算

卡內(nèi)基梅隆大學(xué)統(tǒng)計(jì)系教授沃塞曼(Larry Wasserman) 寫了一本名字非常霸道的書：《統(tǒng)計(jì)學(xué)完全教程》(Allof Statistics)。這本書的引言部分有一個(gè)關(guān)于統(tǒng)計(jì)學(xué)與機(jī)器學(xué)習(xí)非常耐人尋味的描述。沃塞曼認(rèn)為，原來統(tǒng)計(jì)是在統(tǒng)計(jì)系，計(jì)算機(jī)是在計(jì)算機(jī)系，這兩者是不相來往的，而且互相都不認(rèn)同對(duì)方的價(jià)值。計(jì)算機(jī)學(xué)家認(rèn)為那些統(tǒng)計(jì)理論沒有用，不解決問題，而統(tǒng)計(jì)學(xué)家則認(rèn)為計(jì)算機(jī)學(xué)家只是在“重新發(fā)明輪子”，沒有新意。然而，他認(rèn)為現(xiàn)在情況改變了，統(tǒng)計(jì)學(xué)家認(rèn)識(shí)到計(jì)算機(jī)學(xué)家正在做出的貢獻(xiàn)，而計(jì)算機(jī)學(xué)家也認(rèn)識(shí)到統(tǒng)計(jì)的理論和方法論的普遍性意義。所以，沃塞曼寫了這本書，可以說這是一本為統(tǒng)計(jì)學(xué)者寫的計(jì)算機(jī)領(lǐng)域的書，為計(jì)算機(jī)學(xué)者寫的統(tǒng)計(jì)領(lǐng)域的書。

現(xiàn)在大家達(dá)成了一個(gè)共識(shí)：如果你在用一個(gè)機(jī)器學(xué)習(xí)方法，而不懂其基礎(chǔ)原理，這是一件非?？膳碌氖虑椤Ｕ怯捎谶@個(gè)原因，目前學(xué)術(shù)界對(duì)深度學(xué)習(xí)還是有些疑慮的。盡管深度學(xué)習(xí)已經(jīng)在實(shí)際應(yīng)用中展示出其強(qiáng)大的能力，但其中的數(shù)學(xué)原理目前大家還不是太清楚。

讓我們具體討論計(jì)算機(jī)與統(tǒng)計(jì)學(xué)之間的關(guān)系。計(jì)算機(jī)學(xué)家通常具有強(qiáng)大的計(jì)算能力和解決問題的直覺，而統(tǒng)計(jì)學(xué)家擅長于理論分析和問題建模，因此，兩者具有很好的互補(bǔ)性和合作空間。例如，數(shù)學(xué)家瓦普尼克(Vapnik) 等人早在20 世紀(jì)60 年代就提出了支持向量機(jī)的理論，但直到計(jì)算機(jī)界于90 年代末發(fā)明了非常有效的求解算法，并隨著后續(xù)大量實(shí)現(xiàn)代碼的開源，支持向量機(jī)現(xiàn)在成為了分類算法的一個(gè)基準(zhǔn)模型。再比如，核主成分分析(KernelPrincipal Component Analysis, KPCA) 是由計(jì)算機(jī)學(xué)家提出的一個(gè)非線性降維方法，其實(shí)它等價(jià)于經(jīng)典多維尺度分析(Multi-Dimensional Scaling, MDS)。而后者在統(tǒng)計(jì)界是很早就存在的，但如果沒有計(jì)算機(jī)界重新發(fā)現(xiàn)，有些好的東西可能就被埋沒了。

計(jì)算機(jī)界和統(tǒng)計(jì)界的通力合作，成就了機(jī)器學(xué)習(xí)從20世紀(jì)90年代中期到21世紀(jì)00年代中期的黃金發(fā)展時(shí)期，主要標(biāo)志是學(xué)術(shù)界涌現(xiàn)出一批重要成果，比如，基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)，隨機(jī)森林和Boosting等集成分類方法，概率圖模型，基于再生核理論的非線性數(shù)據(jù)分析與處理方法，非參數(shù)貝葉斯方法，基于正則化理論的稀疏學(xué)習(xí)模型及應(yīng)用等等。這些成果奠定了統(tǒng)計(jì)機(jī)器學(xué)習(xí)的理論基礎(chǔ)和框架。

機(jī)器學(xué)習(xí)現(xiàn)在已成為統(tǒng)計(jì)學(xué)的一個(gè)主流方向，許多著名大學(xué)的統(tǒng)計(jì)系紛紛從機(jī)器學(xué)習(xí)領(lǐng)域招聘教授，比如斯坦福大學(xué)統(tǒng)計(jì)系新進(jìn)的兩位助理教授來自機(jī)器學(xué)習(xí)專業(yè)。計(jì)算在統(tǒng)計(jì)領(lǐng)域已經(jīng)變得越來越重要，傳統(tǒng)多元統(tǒng)計(jì)分析是以矩陣分解為計(jì)算工具，現(xiàn)代高維統(tǒng)計(jì)則是以數(shù)值優(yōu)化為計(jì)算工具。

最近有一本尚未出版的書《數(shù)據(jù)科學(xué)基礎(chǔ)》(Foundation of Data Science )，作者之一霍普克洛夫特 (JohnHopcroft) 是圖靈獎(jiǎng)得主。在這本書前言部分，提到了計(jì)算機(jī)科學(xué)的發(fā)展可以分為三個(gè)階段：早期、中期和當(dāng)今。早期就是讓計(jì)算機(jī)可以運(yùn)行起來，其重點(diǎn)在于開發(fā)程序語言、編譯技術(shù)、操作系統(tǒng)，以及研究支撐它們的數(shù)學(xué)理論。中期是讓計(jì)算機(jī)變得有用，變得高效，重點(diǎn)在于研究算法和數(shù)據(jù)結(jié)構(gòu)。第三個(gè)階段是讓計(jì)算機(jī)具有更廣泛的應(yīng)用，發(fā)展重點(diǎn)從離散類數(shù)學(xué)轉(zhuǎn)到概率和統(tǒng)計(jì)。我曾經(jīng)和霍普克洛夫特教授交談過幾次，他認(rèn)為計(jì)算機(jī)科學(xué)發(fā)展到今天，機(jī)器學(xué)習(xí)是核心。而且他正致力于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的研究和教學(xué)。

現(xiàn)在計(jì)算機(jī)界戲稱機(jī)器學(xué)習(xí)為“全能學(xué)科”，它無所不在。除了有其自身的學(xué)科體系外，機(jī)器學(xué)習(xí)還有兩個(gè)重要的輻射功能。一是為應(yīng)用學(xué)科提供解決問題的方法與途徑。對(duì)于一個(gè)應(yīng)用學(xué)科來說，機(jī)器學(xué)習(xí)的目的就是把一些難懂的數(shù)學(xué)翻譯成讓工程師能夠?qū)懗龀绦虻膫未a。二是為一些傳統(tǒng)學(xué)科，比如統(tǒng)計(jì)、理論計(jì)算機(jī)科學(xué)、運(yùn)籌優(yōu)化等找到新的研究問題。因此，大多數(shù)世界著名大學(xué)的計(jì)算機(jī)學(xué)科把機(jī)器學(xué)習(xí)或人工智能列為核心方向，擴(kuò)大機(jī)器學(xué)習(xí)領(lǐng)域的教師規(guī)模，而且至少要保持兩、三個(gè)機(jī)器學(xué)習(xí)研究方向具有***競(jìng)爭(zhēng)力。有些計(jì)算機(jī)專業(yè)有1/3 甚至1/2 的研究生選修機(jī)器學(xué)習(xí)或人工智能。

然而，機(jī)器學(xué)習(xí)是一門應(yīng)用學(xué)科，它需要在工業(yè)界發(fā)揮作用，能為他們解決實(shí)際問題。幸運(yùn)的是，機(jī)器學(xué)習(xí)切實(shí)能被用來幫助工業(yè)界解決問題。特別是當(dāng)下的熱點(diǎn)，比如說深度學(xué)習(xí)、AlphaGo、無人駕駛汽車、人工智能助理等對(duì)工業(yè)界的巨大影響。當(dāng)今IT 的發(fā)展已從傳統(tǒng)的微軟模式轉(zhuǎn)變到谷歌模式。傳統(tǒng)的微軟模式可以理解為制造業(yè)，而谷歌模式則是服務(wù)業(yè)。谷歌的搜索完全是免費(fèi)服務(wù)社會(huì)，他們的搜索技術(shù)做得越來越***，同時(shí)創(chuàng)造的財(cái)富也越來越豐厚。

財(cái)富蘊(yùn)藏在數(shù)據(jù)中，而挖掘財(cái)富的核心技術(shù)則是機(jī)器學(xué)習(xí)，因此谷歌認(rèn)為自己是一家機(jī)器學(xué)習(xí)公司。深度學(xué)習(xí)作為當(dāng)今最有活力的機(jī)器學(xué)習(xí)方向，在計(jì)算機(jī)視覺、自然語言理解、語音識(shí)別、智力游戲等領(lǐng)域的顛覆性成就，造就了一批新興的創(chuàng)業(yè)公司。工業(yè)界對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的人才有大量的需求。不僅僅需要代碼能力強(qiáng)的工程師，也需要有數(shù)學(xué)建模和解決問題的科學(xué)家。

機(jī)器學(xué)習(xí)發(fā)展啟示

機(jī)器學(xué)習(xí)的發(fā)展歷程告訴我們：發(fā)展一個(gè)學(xué)科需要一個(gè)務(wù)實(shí)的態(tài)度。時(shí)髦的概念和名字無疑對(duì)學(xué)科的普及有一定的推動(dòng)作用，但學(xué)科的根本還是所研究的問題、方法、技術(shù)和支撐的基礎(chǔ)等，以及為社會(huì)產(chǎn)生的價(jià)值。

“機(jī)器學(xué)習(xí)”是個(gè)很酷的名字，簡(jiǎn)單地按照字面理解，它的目的是讓機(jī)器能像人一樣具有學(xué)習(xí)能力。但在其十年的黃金發(fā)展期，機(jī)器學(xué)習(xí)界并沒有過多地炒作“智能”或者“認(rèn)知”，而是關(guān)注于引入統(tǒng)計(jì)學(xué)等來建立學(xué)科的理論基礎(chǔ)，面向數(shù)據(jù)分析與處理，以無監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)為兩大主要的研究問題，提出和開發(fā)了一系列模型、方法和計(jì)算算法等，切實(shí)地解決了工業(yè)界所面臨的一些實(shí)際問題。近幾年，因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升，一批面向機(jī)器學(xué)習(xí)的底層架構(gòu)先后被開發(fā)出來。神經(jīng)網(wǎng)絡(luò)其實(shí)在20世紀(jì)80年代末或90年代初就被廣泛研究，但后來沉寂了。近幾年，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)強(qiáng)勢(shì)崛起，給工業(yè)界帶來了深刻的變革和機(jī)遇。深度學(xué)習(xí)的成功不是源自腦科學(xué)或認(rèn)知科學(xué)的進(jìn)展，而是因?yàn)榇髷?shù)據(jù)的驅(qū)動(dòng)和計(jì)算能力的極大提升。

機(jī)器學(xué)習(xí)的發(fā)展詮釋了多學(xué)科交叉的重要性和必要性。然而這種交叉不是簡(jiǎn)單地彼此知道幾個(gè)名詞或概念就可以的，是需要真正的融會(huì)貫通。已故的布萊曼(LeoBreiman) 教授是統(tǒng)計(jì)機(jī)器學(xué)習(xí)的主要奠基人，他是眾多統(tǒng)計(jì)學(xué)習(xí)方法的主要貢獻(xiàn)者，比如Bagging、分類回歸樹(CART)、隨機(jī)森林以及非負(fù)garrote稀疏模型等。布萊曼教授經(jīng)歷傳奇，他從學(xué)術(shù)界轉(zhuǎn)到工業(yè)界從事統(tǒng)計(jì)的實(shí)際應(yīng)用十多年，然后又回到學(xué)術(shù)界。布萊曼是喬丹(MichaelJordan) 教授的伯樂，當(dāng)初是他力主把喬丹從麻省理工學(xué)院引進(jìn)到伯克利分校的。喬丹教授既是***的計(jì)算機(jī)學(xué)家，又是***的統(tǒng)計(jì)學(xué)家，而他的博士專業(yè)為心理學(xué)，他能夠承擔(dān)起建立統(tǒng)計(jì)機(jī)器學(xué)習(xí)的重任，為機(jī)器學(xué)習(xí)領(lǐng)域培養(yǎng)了一大批優(yōu)秀的學(xué)者。

斯坦福大學(xué)教授弗萊德曼(Jerome Friedman) 早期從事物理學(xué)研究，但弗萊德曼是優(yōu)化算法大師，他特別善于從優(yōu)化的視角來研究統(tǒng)計(jì)方法，比如由此提出了多元自適應(yīng)回歸(MultivariateAdaptive Regression Splines, MARS) 和梯度推進(jìn)機(jī)(GradientBoosting Machines, GBM) 等經(jīng)典機(jī)器學(xué)習(xí)算法。多倫多大學(xué)的辛頓教授是世界***的認(rèn)知心理學(xué)家和計(jì)算機(jī)科學(xué)家。雖然他很早就成就斐然，在學(xué)術(shù)界久負(fù)盛名，但他依然始終活躍在一線，自己寫代碼。他提出的許多想法簡(jiǎn)單、可行又非常有效，被稱為偉大的思想家。正是由于他的睿智和身體力行，深度學(xué)習(xí)技術(shù)迎來了革命性的突破。

總之，這些學(xué)者非常務(wù)實(shí)，從不提那些空洞無物的概念和框架。他們遵循自下而上的方式，從具體問題、模型、方法、算法等著手，一步一步實(shí)現(xiàn)系統(tǒng)化。

可以說機(jī)器學(xué)習(xí)是由學(xué)術(shù)界、工業(yè)界、創(chuàng)業(yè)界(或競(jìng)賽界)等合力造就的。學(xué)術(shù)界是引擎，工業(yè)界是驅(qū)動(dòng)，創(chuàng)業(yè)界是活力和未來。學(xué)術(shù)界和工業(yè)界應(yīng)該有各自的職責(zé)和分工。學(xué)術(shù)界的職責(zé)在于建立和發(fā)展機(jī)器學(xué)習(xí)學(xué)科，培養(yǎng)機(jī)器學(xué)習(xí)領(lǐng)域的專門人才;而大項(xiàng)目、大工程更應(yīng)該由市場(chǎng)來驅(qū)動(dòng)，由工業(yè)界來實(shí)施和完成。

我國機(jī)器學(xué)習(xí)發(fā)展現(xiàn)狀和出路

機(jī)器學(xué)習(xí)在我國得到了廣泛的關(guān)注，也取得了一定的成績，但我覺得大多數(shù)研究集中在數(shù)據(jù)挖掘?qū)用妫覈鴱氖录兇鈾C(jī)器學(xué)習(xí)研究的學(xué)者***。在計(jì)算機(jī)學(xué)術(shù)界，理論、方法等基礎(chǔ)性的研究沒有得到足夠重視，一些理論背景深厚的領(lǐng)域甚至被邊緣化。而一些“過剩學(xué)科”、“夕陽學(xué)科”則聚集了大量的人力、財(cái)力，這使得我國在國際主流計(jì)算機(jī)領(lǐng)域中缺乏競(jìng)爭(zhēng)力和影響力。

統(tǒng)計(jì)學(xué)在我國還是一個(gè)弱勢(shì)學(xué)科，最近才被國家定為一級(jí)學(xué)科。我國統(tǒng)計(jì)學(xué)處于兩個(gè)極端，一是它被當(dāng)作數(shù)學(xué)的一個(gè)分支，主要研究概率論、隨機(jī)過程以及數(shù)理統(tǒng)計(jì)理論等。二是它被劃為經(jīng)濟(jì)學(xué)的分支，主要研究經(jīng)濟(jì)分析中的應(yīng)用。而機(jī)器學(xué)習(xí)在統(tǒng)計(jì)學(xué)界還沒有被深度地關(guān)注。統(tǒng)計(jì)學(xué)和計(jì)算機(jī)科學(xué)仍處于沃塞曼所說的“各自為戰(zhàn)”階段。

我國計(jì)算機(jī)學(xué)科的培養(yǎng)體系還基本停留在早期發(fā)展階段，如今的學(xué)生從小就與計(jì)算機(jī)接觸，他們的編程能力和國外學(xué)生相比沒有任何劣勢(shì)。但由于理論知識(shí)一直沒有被充分重視，而且統(tǒng)計(jì)學(xué)的重要性沒有被充分認(rèn)識(shí)到，這些造成了學(xué)生的數(shù)學(xué)能力和國外著名高校相比差距很大。我國大多數(shù)大學(xué)計(jì)算機(jī)專業(yè)的本科生都開設(shè)了人工智能課程，研究生則開設(shè)了機(jī)器學(xué)習(xí)課程，但無論是深度、寬度還是知識(shí)結(jié)構(gòu)都落后于學(xué)科的發(fā)展，不能適應(yīng)時(shí)代的需要。因此，人才的培養(yǎng)無論是質(zhì)量還是數(shù)量都無法滿足工業(yè)界的迫切需求。

目前數(shù)據(jù)科學(xué)專業(yè)在我國得到了極大的關(guān)注，北京大學(xué)、復(fù)旦大學(xué)和中國人民大學(xué)等依托雄厚的統(tǒng)計(jì)學(xué)實(shí)力紛紛建立了數(shù)據(jù)科學(xué)專業(yè)或大數(shù)據(jù)研究院，并已經(jīng)開始招收本科生和研究生。但是目前還沒有一所大學(xué)開設(shè)機(jī)器學(xué)習(xí)專業(yè)。機(jī)器學(xué)習(xí)對(duì)其他應(yīng)用或理論學(xué)科有輻射作用，也是連接兩者的紐帶。一方面它可以為理論端儲(chǔ)備人才，另一方面可以結(jié)合不同領(lǐng)域問題，比如醫(yī)療數(shù)據(jù)、金融數(shù)據(jù)、圖像視頻數(shù)據(jù)等，為應(yīng)用端輸送人才。因此，我認(rèn)為在計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)本科專業(yè)中，增加機(jī)器學(xué)習(xí)的訓(xùn)練是必要的。

機(jī)器學(xué)習(xí)集技術(shù)、科學(xué)與藝術(shù)于一體，它有別于傳統(tǒng)人工智能，是現(xiàn)代人工智能的核心。它牽涉到統(tǒng)計(jì)、優(yōu)化、矩陣分析、理論計(jì)算機(jī)、編程、分布式計(jì)算等。因此，建議在已有的計(jì)算機(jī)專業(yè)本科生課程的基礎(chǔ)上，適當(dāng)加強(qiáng)概率、統(tǒng)計(jì)和矩陣分析等課程，下面是具體課程設(shè)置和相關(guān)教材的建議：

1.加強(qiáng)概率與統(tǒng)計(jì)的基礎(chǔ)課程，建議采用莫里斯·德格魯特(Morris H. DeGroot) 和馬克·舍維什(Mark J. Schervish) 合著的第四版《概率論與數(shù)理統(tǒng)計(jì)》(Probability andStatistics) 為教材。

2.在線性代數(shù)課程里，加強(qiáng)矩陣分析的內(nèi)容。教材建議使用吉爾伯特·斯特朗(GilbertStrang) 的《線性代數(shù)導(dǎo)論》(Introductionto Linear Algebra)。吉爾伯特·斯特朗在麻省理工學(xué)院一直講述線性代數(shù)，他的網(wǎng)上視頻課程堪稱經(jīng)典。后續(xù)建議開設(shè)矩陣計(jì)算，采用特雷費(fèi)森·勞埃德(TrefethenN. Lloyd) 和戴維·鮑(David Bau lll)著作的《數(shù)值線性代數(shù)》(Numerical Linear Algebra) 為教科書。

3.開設(shè)機(jī)器學(xué)習(xí)課程。機(jī)器學(xué)習(xí)有許多經(jīng)典的書籍，但大多不太適宜做本科生的教材。最近，麻省理工學(xué)院出版的約翰·凱萊赫(JohnD. Kelleher) 和布瑞恩·麥克·納米(Brian Mac Namee) 等人著作的《機(jī)器學(xué)習(xí)基礎(chǔ)之預(yù)測(cè)數(shù)據(jù)分析》(Fundamentalsof Machine Learning for Predictive Data Analytics )，或者安得烈·韋伯 (AndrewR. Webb) 和基思·科普塞(Keith D. Copsey) 合著的第三版《統(tǒng)計(jì)模式識(shí)別》(StatisticalPattern Recognition ) 比較適合作為本科生的教科書。同時(shí)建議課程設(shè)置實(shí)踐環(huán)節(jié)，讓學(xué)生嘗試將機(jī)器學(xué)習(xí)方法應(yīng)用到某些特定問題中。

此外，我建議設(shè)立以下課程作為本科計(jì)算機(jī)專業(yè)的提高課程或者榮譽(yù)課程。特別是，國內(nèi)有些大學(xué)計(jì)算機(jī)專業(yè)設(shè)立了拔尖人才項(xiàng)目，我認(rèn)為以下課程可以考慮列入該項(xiàng)目的培養(yǎng)計(jì)劃中。事實(shí)上，上海交通大學(xué)ACM 班就開設(shè)了隨機(jī)算法和統(tǒng)計(jì)機(jī)器學(xué)習(xí)等課程。

1.開設(shè)數(shù)值優(yōu)化課程，建議參考教材喬治·諾塞達(dá)爾(Jorge Nocedal) 和史蒂芬·賴特(Stephen J. Wright) 的第二版《數(shù)值優(yōu)化》(NumericalOptimization ) ，或者開設(shè)數(shù)值分析，建議采用蒂莫西·索爾的《數(shù)值分析》(Numerical Analysis) 為教材。

2.加強(qiáng)算法課程，增加高級(jí)算法，比如隨機(jī)算法，參考教材是邁克爾·米曾馬克(MichaelMitzenmacher) 和伊萊·阿普法(Eli Upfal) 的《概率與計(jì)算： 隨機(jī)算法與概率分析》(Probability and Computing:Randomized Algorithms and Probabilistic Analysis)。

3.在程序設(shè)計(jì)方面，增加或加強(qiáng)并行計(jì)算的內(nèi)容。特別是在深度學(xué)習(xí)技術(shù)的執(zhí)行中，通常需要GPU 加速，可以使用戴維·柯克 (DavidB. Kirk) 和胡文美(Wen-mei W. Hwu) 的教材 《大規(guī)模并行處理器編程實(shí)戰(zhàn)》(第二版)(ProgrammingMassively Parallel Processors: A Hands-on Approach, Second Edition ) ;另外，還可以參考優(yōu)達(dá)學(xué)城(Udacity)上英偉達(dá)(Nvidia)講解CUDA 計(jì)算的公開課。

我認(rèn)為以計(jì)算機(jī)科學(xué)為主導(dǎo)，聯(lián)合統(tǒng)計(jì)和應(yīng)用數(shù)學(xué)專業(yè)，開設(shè)機(jī)器學(xué)習(xí)研究生專業(yè)是值得考慮的。研究生專業(yè)應(yīng)該圍繞理論機(jī)器學(xué)習(xí)、概率與隨機(jī)圖模型、貝葉斯方法、大規(guī)模優(yōu)化算法、深度學(xué)習(xí)等基礎(chǔ)機(jī)器學(xué)習(xí)領(lǐng)域。建議開設(shè)理論機(jī)器學(xué)習(xí)、概率圖模型、統(tǒng)計(jì)推斷與貝葉斯分析、凸分析與優(yōu)化、強(qiáng)化學(xué)習(xí)、信息論等課程。