聲稱代碼已開源卻遲遲沒更新，網(wǎng)友一怒之下把作者掛網(wǎng)上
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
“代碼拖更”的經(jīng)歷，不知你遇到過沒？
就是你看上了一篇論文或者項目，作者聲稱代碼會開源或者已開源，但你左等右等，每天查查GitHub，代碼就是一直沒發(fā)布……
reddit上一位網(wǎng)友就遭遇了這種經(jīng)歷，還是在他三番五次聯(lián)系原作者的情況下。
無奈/一怒之下，他就把作者和論文掛網(wǎng)上了。
結(jié)果這一現(xiàn)象引起了網(wǎng)友們熱烈的討論，還把“涉事”作者給“炸”出來了！
聲稱代碼開源卻遲遲不更新
據(jù)發(fā)帖網(wǎng)友陳述，“涉事”論文是NeurIPS 2020的一篇有關(guān)自動駕駛的論文。
當時他覺得很有意思，順著文中給出的代碼地址點進去，發(fā)現(xiàn)倉庫居然是個“空殼子”。
“好吧，應(yīng)該是還沒來得及更新”，他心想：那就fork一下，過幾天再來看。
然而他等啊等啊，代碼一直都沒有發(fā)布。
他看到有其他人也在評論區(qū)“催更”，他自己也嘗試電郵聯(lián)系作者們（包括學生和PI），但都沒收到回復。
終于，去年11月份就提交到arXiv的論文，在今年4月更新代碼倉庫了！
——但，更新的只是自述文件，只說代碼即將發(fā)布。
然后幾個月過去了，那已成了該倉庫最后一次更新。
而這位網(wǎng)友也終于聯(lián)系上了作者，卻得到了這樣的回應(yīng)：
論文實際上是基于經(jīng)驗的改進，沒有有效代碼來復現(xiàn)結(jié)果。
這下這位網(wǎng)友可是真的炸了：“我等了你們這么久，付出了巨大的努力聯(lián)系你們。不發(fā)布就不發(fā)布，一開始就別承諾啊，也更不該‘玩失蹤’啊。”
他表示，他知道這種“聲稱開源卻實際并未發(fā)布代碼”的事情在機器學習論文中越來越多。
當他實驗室的本科生問他“為什么我應(yīng)該如此費力地整理代碼并發(fā)布，而別的人早已開展下一個有趣的項目去了”時，他也沒法兒解釋。
但事情不應(yīng)該是這樣：
我強烈地認為這種事情必須被改變，而且只有我們說出來，這種現(xiàn)象才能被改變。
于是，也就有了前文我們看到的這篇論文被掛在網(wǎng)上“社死”的事情。
誰之過？應(yīng)該怎么辦？
看到這個帖子，許多網(wǎng)友的第一反應(yīng)確實是：這不新鮮啊。
“CVPR 2019都還有篇論文的代碼現(xiàn)在還沒發(fā)布。原作者還親口告訴我有代碼且已上線呢……”
不過，這不排除有人是在論文被接收后又偷偷刪除鏈接的……
畢竟，有網(wǎng)友指出，有人不發(fā)就是因為擔心自己“透露”的太多，被別人反超成果……
emmmm……
當然，更普遍的也可能是自己的代碼遇到問題了，不過：
“Paper + Bad Code >>>> Paper + No Code。”
許多人表示，論文能公開代碼還是要公開，即使有錯誤、別人跑不起來，但也盡量發(fā)出來，大家還可以做逆向工程——畢竟總比啥都沒有強。
而關(guān)于不發(fā)布代碼的原因，這里面還出現(xiàn)了“對于你來說開源代碼可能就是30分鐘的事兒，但有人真的很忙需要耗費數(shù)周才能完成，所以你不該責怪他們”的論調(diào)，但顯然他沒有抓住本次事件真正的問題所在：
不能開源代碼的情況會有，可以原諒，但你不應(yīng)該把“代碼已在X發(fā)布”寫在論文中。不誠實才是最大的問題。
而另一邊，網(wǎng)友也把矛頭指向了評審。
“我已經(jīng)說過很多次了，會議/期刊/審稿人應(yīng)該確保論文中提到的代碼是真正發(fā)布了的。”
許多人一致認為先不提有沒有驗證代碼是否能復現(xiàn)，沒有復現(xiàn)代碼能過審就讓人費解，所以給復現(xiàn)代碼掛了個空倉庫的論文一開始就應(yīng)該被拒稿，審稿人應(yīng)該好好把關(guān)。
不過說是這么說，有人算了算：
ICLR今年收到了大約3400篇提交，每篇論文應(yīng)該有4條評論，所以總共需要13000+條評論。而一個好的評審總共需要4-5個小時在一篇論文上。
這需要耗費的時間不敢想象，但審稿又是“義務(wù)勞動”，你“審的好”不會給你帶來什么附加收益，對你找工作、升職加薪什么的也不會有幫助，所以……
那你可能會說，付費評審吧。
但這不且提每小時約100美元的市場價格帶來高得離譜的成本，有的人給錢他都不一定有那么多時間呢。
再扯遠點，最不缺的是審稿人，而是真正有水平的審稿人。
所以也就發(fā)生了太多空代碼論文“鉆空子”的情況。
不過，也不是完全沒有辦法。
有網(wǎng)友支招，面對那種承諾已有代碼實際就是沒有的，可以把它提交到下面這個網(wǎng)站：
會有人專門幫你聯(lián)系作者，其審核嚴格，也會顯示每篇論文的處理進度。
從申請理由中，我們也可以看到，代碼有問題的論文也可以提交的。
良心網(wǎng)站。
“涉事”論文作者被“炸”出來了
令人沒想到的是，原帖網(wǎng)友私下三番五次聯(lián)系不上“涉事”論文作者，發(fā)了這個帖子后，倒是一下子把他“炸”出來了。
他首先道歉，表示自己剛剛進入一家公司工作很忙，沒有及時跟蹤到這篇論文的郵件。
并承諾在最近的NeurIPS之前會發(fā)布代碼，到時大家有啥問題就可以問他了。
還給出了代碼用到的數(shù)據(jù)集來自哪篇論文以及根代碼庫的鏈接。
以上，你怎么看？
