魔改GPT自動(dòng)寫網(wǎng)文，速度一秒十字，還能給太監(jiān)作品無限續(xù)更
本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。
如果一個(gè)人只看網(wǎng)文，那會(huì)寫出來怎樣的文字？
看了100G網(wǎng)文后，這個(gè)AI模型幫你試了一下。
先來一段自由創(chuàng)作：
無限續(xù)更 | 開源">乍眼看去很有內(nèi)味，而且基本是一秒十字甚至更快的生成速度，非常的amazing。
那再放一段經(jīng)典網(wǎng)文故事高潮前的內(nèi)容，讓AI作家?guī)兔m(xù)一下？
無限續(xù)更 | 開源">呃……不是“三十年河?xùn)|，三十年河西，莫欺少年窮”，沒內(nèi)味兒啊！
這就是開發(fā)者親切地稱之為“人工智障寫作”，由GPT魔改而成的模型AI-Writer：
無限續(xù)更 | 開源">一秒十字，無限續(xù)寫
這一模型擁有100M參數(shù)量，基于100G網(wǎng)絡(luò)小說訓(xùn)練，沒有采用任何其他素材。
因此，AI-Writer相當(dāng)于是一位“只看網(wǎng)絡(luò)小說”的創(chuàng)作者，不具備任何網(wǎng)文以外的常識(shí)，行文風(fēng)格自然也就比較小白。
但好在閱書無數(shù)，一句同樣的開頭：
無限續(xù)更 | 開源">就能生成風(fēng)格迥異，走向不同的多個(gè)片段：
無限續(xù)更 | 開源">也可以自定義每次的生成字?jǐn)?shù)，像上面就是每次生成200字。
無限續(xù)更 | 開源">理論上可以無限生成文字，但時(shí)間長(zhǎng)了也會(huì)陷入“不斷重復(fù)某字或某片段”的循環(huán)之中。
生成文字速度受加速方式的影響，目前支持N卡、A卡、I卡、GPU加速，可以選擇最適合自己設(shè)備的方式：
無限續(xù)更 | 開源">像開頭展示的那段動(dòng)圖，生成速度甚至不止一秒十字，就是通過GPU加速的效果。
如果你覺得AI寫的有點(diǎn)太過放飛自我，也可以設(shè)置生成文字的隨機(jī)程度。
無限續(xù)更 | 開源">要解釋這里的文字生成隨機(jī)性，就要說到AI-Writer所采用的一種特殊的采樣方法：
- 對(duì)于段落開頭
將Top-P設(shè)置為0.995，幾乎完全按照輸出的概率分布采樣，增強(qiáng)行文變化
- 對(duì)于其他位置
先找到最高概率的字的概率P，然后移除所有概率小于 0.02×P2的字
這樣，模型生成的每一個(gè)字都是一個(gè)概率分布，因此，上面的文字生成的隨機(jī)程度，也就是文字生成時(shí)忽略小概率字的程度。
可以對(duì)比一下該值分別為0.01，0.1，0.9時(shí)的生成效果：
無限續(xù)更 | 開源">當(dāng)然，由于這是個(gè)只有100M參數(shù)的小模型，所以邏輯和閱讀理解能力是較低的。
用開發(fā)者的話來說，就是“它是個(gè)純智障，純屬娛樂”。
模型可直接試玩
不過，就算本著娛樂的目的，我們也來看看怎么做才讓這個(gè)AI作者動(dòng)筆。
在環(huán)境配置上，開發(fā)者表示，如果采用他通過C+AVX2寫的純CPU版本，就不需要Python和Pytorch，只要是2014年以后的CPU都能成功運(yùn)行。
（作者已將這一版本上傳至交流群）
而上述演示的動(dòng)圖則是在Python3.8和Pytorch1.10的環(huán)境配置下的Demo。
在環(huán)境配置完畢后，下載模型和Release文件，在模型文件中新建一個(gè)model文件夾，并將release文件解壓放在model目錄下。
這時(shí)你就可以運(yùn)行python run.py，在終端快速生成文字：
（這里可以先安裝一下DeepLearning環(huán)境）
無限續(xù)更 | 開源">文字可以一直自由生成下去，可以通過Ctrl+C來停止。
當(dāng)然，由于這里是在2.3 GHz 雙核Intel Core i5的Mac本上跑的，所以并沒有達(dá)到10字/秒的生成速度。
也可以在網(wǎng)頁中進(jìn)行試玩，運(yùn)行python server.py，并打開下載模型web-client文件夾中的index.html。
無限續(xù)更 | 開源">然后就可以打開網(wǎng)頁，直接在對(duì)話框中輸入開頭，點(diǎn)擊按鈕進(jìn)行續(xù)寫了：
無限續(xù)更 | 開源">現(xiàn)在這個(gè)網(wǎng)頁版已經(jīng)初具模型，開發(fā)者希望能有更多的人參與進(jìn)來，一起將現(xiàn)階段的這個(gè)“人工智障”改進(jìn)成對(duì)于創(chuàng)作者而言的實(shí)用工具，以及對(duì)于讀者而言的娛樂方式。
下載鏈接：
https://github.com/BlinkDL/AI-Writer/releases
