神經(jīng)網(wǎng)絡(luò)技術(shù)棧介紹——PyTorch，Transformer，NLP，CV，Embedding 原創(chuàng)
“ 神經(jīng)網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)，具體任務(wù)是具體任務(wù)，不能混為一談 ”
學習了一段時間神經(jīng)網(wǎng)絡(luò)技術(shù)之后發(fā)現(xiàn)對很多東西理解還不夠深刻，所以今天就來梳理一下神經(jīng)網(wǎng)絡(luò)的技術(shù)棧，深入了解一下不同的工具在神經(jīng)網(wǎng)絡(luò)中所處的位置，以及其扮演的角色。
先說一句廢話，神經(jīng)網(wǎng)絡(luò)僅僅只是神經(jīng)網(wǎng)絡(luò)，它不涉及具體的任務(wù)，只是一個神經(jīng)網(wǎng)絡(luò)模型；神經(jīng)網(wǎng)絡(luò)要解決實際問題就需要和不同的任務(wù)領(lǐng)域相結(jié)合。
神經(jīng)網(wǎng)絡(luò)技術(shù)棧
要了解或者說要學習神經(jīng)網(wǎng)絡(luò)，首先要從兩個方面去入手——技術(shù)原理和應(yīng)用場景。
神經(jīng)網(wǎng)絡(luò)是基于人工智能領(lǐng)域中，機器學習的深化——深度學習，通過模仿人類的大腦神經(jīng)的行為來實現(xiàn)人工智能的一種技術(shù)手段。
因此，基于這種思想誕生了神經(jīng)網(wǎng)絡(luò)模型；既然是模仿人類大腦的神經(jīng)網(wǎng)絡(luò)模型，那么具體的數(shù)學模型應(yīng)該是什么樣的呢？
因此，這里就產(chǎn)生了神經(jīng)網(wǎng)絡(luò)模型中幾種常見的神經(jīng)網(wǎng)絡(luò)架構(gòu)及其變種，RNN——循環(huán)神經(jīng)網(wǎng)絡(luò)，CNN——卷積神經(jīng)網(wǎng)絡(luò)和Transformer——自注意力模型。
為什么會有多種不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)模型？
因為人類還無法真正模擬出人類的大腦神經(jīng)網(wǎng)絡(luò)，因此只能根據(jù)不同的任務(wù)類型設(shè)計能夠處理不同任務(wù)的神經(jīng)網(wǎng)絡(luò)模型；比如說Transformer擅長處理NLP任務(wù)，CNN適合處理圖像任務(wù)等。
所以說可以簡單把神經(jīng)網(wǎng)絡(luò)技術(shù)理解成一種實現(xiàn)人工智能的思想，而RNN，CNN與Transformer等神經(jīng)網(wǎng)絡(luò)架構(gòu)是其中的幾種實現(xiàn)方式，也可以理解成數(shù)學模型。
而有了思想還要有具體的實現(xiàn)，因為神經(jīng)網(wǎng)絡(luò)的本質(zhì)是數(shù)學模型，因此需要進行大量的數(shù)學計算；所以，谷歌和meta公司分別開發(fā)了一款神經(jīng)網(wǎng)絡(luò)的開發(fā)框架，Tensorflow和PyTorch，也就是一個科學計算框架，里面封裝了大量的數(shù)學計算公式等。
因此，如果說RNN，CNN和Transformer是一種實現(xiàn)思想；那么PyTorch就是實現(xiàn)這些思想的具體工具；有了PyTorch和Tensorflow技術(shù)人員在開發(fā)神經(jīng)網(wǎng)絡(luò)時就會簡單很多。
以上是神經(jīng)網(wǎng)絡(luò)中純粹的技術(shù)問題，網(wǎng)絡(luò)模型是理論，PyTorch和Tensorflow負責具體實現(xiàn)。
而從實際的價值來說，技術(shù)的作用是解決問題，也就是應(yīng)用；因此，需要把神經(jīng)網(wǎng)絡(luò)技術(shù)與其它領(lǐng)域的任務(wù)相結(jié)合，去解決實際問題，這樣才能發(fā)揮神經(jīng)網(wǎng)絡(luò)的真正價值。
而作為一個人工智能，最基礎(chǔ)的功能當然就是要能夠和人類進行正常交流；因此，神經(jīng)網(wǎng)絡(luò)就必須能夠理解語言，圖像，視頻；并且能夠生成新的內(nèi)容。
所以，神經(jīng)網(wǎng)絡(luò)與自然語言處理(NLP)任務(wù)相結(jié)合就有了自然語言處理的神經(jīng)網(wǎng)絡(luò)模型；而神經(jīng)網(wǎng)絡(luò)與圖像，視頻處理的任務(wù)相結(jié)合，就有了CV——計算機視覺處理。
所以說，NLP和CV是神經(jīng)網(wǎng)絡(luò)技術(shù)的兩個主要應(yīng)用方向；但NLP和CV并不是依賴于神經(jīng)網(wǎng)絡(luò)技術(shù)而存在，NLP和CV是兩項獨立的技術(shù)領(lǐng)域；只不過神經(jīng)網(wǎng)絡(luò)技術(shù)在這兩個領(lǐng)域中表現(xiàn)還不錯。
神經(jīng)網(wǎng)絡(luò)與NLP和CV的關(guān)系就類似于農(nóng)村地鍋和城市里的天然氣類似；做飯可以用地鍋，也可以用天然氣；只不過天氣熱用起來更簡單方便。神經(jīng)網(wǎng)絡(luò)就相當于天然氣，但不用神經(jīng)網(wǎng)絡(luò)還有其它方法研究NLP和CV。
這也是為什么，明明你學了pyTorch和Transformer，你依然不知道該怎么解決NLP和CV的問題；原因就在于神經(jīng)網(wǎng)絡(luò)只是研究NLP和CV的一種工具。這就相當于你學會了使用天然氣，但就代表你會做菜了嗎？ 畢竟天然氣和做菜是兩個領(lǐng)域的問題。
那現(xiàn)在應(yīng)該知道神經(jīng)網(wǎng)絡(luò)與NLP，CV的關(guān)系了吧？以及神經(jīng)網(wǎng)絡(luò)的幾種經(jīng)典架構(gòu)模型；但Embedding又是什么東西？
Embedding中文叫做嵌入，簡單來說就是一種數(shù)據(jù)格式轉(zhuǎn)換工具；在神經(jīng)網(wǎng)絡(luò)中，主要的數(shù)據(jù)格式是向量(張量)；而在人類的交流中主要是文字，圖片，視頻等數(shù)據(jù)格式。
因此，使用神經(jīng)網(wǎng)絡(luò)模型就需要把人類認識的文字，圖片，視頻等格式的數(shù)據(jù)，轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)能難過處理的數(shù)據(jù)格式——也就是張量(向量)。而這個過程就是Embedding要做的事情，數(shù)據(jù)格式轉(zhuǎn)換。
本文轉(zhuǎn)載自公眾號AI探索時代 作者：DFires
