[[430259]]

今年 NeurIPS 2021 首次采用 OpenReview 進(jìn)行評審，要求接收的論文公開他們的評審結(jié)果和討論內(nèi)容，但 Reddit 網(wǎng)友發(fā)現(xiàn)一些作者刪除了他們和評審討論的內(nèi)容，引起網(wǎng)友們的無限遐想，甚至有人認(rèn)為是商業(yè)機(jī)密，不便公開。Reddit 網(wǎng)友表示，我看不懂，但我大受震撼。

　　今年的盛會 NeurIPS 2021 已經(jīng)放榜，不知道你中了幾篇？

　　與以往不同的是，今年 NeurIPS 采用了 OpenReview 審稿，也就是說審稿過程都是透明的，所有的審稿意見、評論和最終錄取結(jié)果都是公開的。

　　對這個(gè)決定，網(wǎng)友們表示各有利弊，甚至有的作者怕這種方式引來公開處刑，在考慮更換論文進(jìn)行投稿。

　　最近 Reddit 上一個(gè)網(wǎng)友也發(fā)現(xiàn)一個(gè)問題，就是有的作者在 NeurIPS 論文被接受以后，把所有的公開討論內(nèi)容給刪掉了。

　　還拿了一篇論文舉了一個(gè)例子，并表示不是針對誰，只是在座的各位。。這是他第一份發(fā)現(xiàn)的，并且在過去的幾個(gè)月里這種情況的發(fā)生的頻率很高。

　　對此他表示非常難以理解，這個(gè)操作的背后到底有什么意義？

　　因?yàn)?ICLR 和 NeurIPS 都采用了 OpenReview，所以這位網(wǎng)友推測 ICLR 的作者刪除可以認(rèn)為是論文被拒掉了，所以刪除掉相關(guān)評論，這篇論文在未來某天發(fā)表的時(shí)候相關(guān)文件沒有那么多。

　　但為什么 NeurIPS 的論文都已經(jīng)被接受了，還刪除掉相關(guān)討論呢？

　　并且 OpenReview 有一個(gè)權(quán)限設(shè)置，作者可以可以選擇讓評審之外的所有人都看不到他們的原始回復(fù)。

[[430260]]

　　但同樣的問題也適用于這種操作：為什么作者需要隱藏他們的回復(fù)，特別是在評論是公開的情況下？

　　對此，網(wǎng)友也是眾說紛紜，有人表示，我還沒有這樣做，但可以理解有人會這么做的一個(gè)原因。評論者有時(shí)要求進(jìn)行無用或誤導(dǎo)性的比較和實(shí)驗(yàn)。

　　如果這些內(nèi)容成為人們在 OpenReview 上看到的第一件事可能對論文的理解上有誤導(dǎo)，最好是在文章中有適當(dāng)?shù)纳舷挛暮徒忉尅?/p>

　　對于「無用或誤導(dǎo)性的比較和實(shí)驗(yàn)」，有人表示，不能同意更多。這些評審有時(shí)候好像就是要發(fā)帖挑釁一樣，他們想表現(xiàn)得很聰明，總想問或者挑點(diǎn)什么錯(cuò)誤出來，所以他們只是隨便瀏覽一下論文，并且隨意發(fā)表評論，這對所有人來說都毫無幫助。

[[430261]]

　　還有網(wǎng)友表示，一場富有成效的討論需要所有參與者在思想上達(dá)成一致，因此，刪除這些討論的一個(gè)可能原因是，你不能保證普通的觀眾在智力上能夠理解討論的內(nèi)容。不過，這只是一個(gè)一般性的結(jié)論，答主不知道它是否適用于 OpenReview 討論。

　　還有人認(rèn)為是為了減少接觸。如果曝光太多的話，全世界都能看到這些論文在胡說八道。此外，學(xué)術(shù)界充滿了太多自私的人，他們不希望其他人從他們與評審的討論中受益，即獲取想法。

　　從工業(yè)的角度而非從學(xué)術(shù)的角度來看，這個(gè)操作是有意義的。如果研究人員計(jì)劃將他們的研究成果商業(yè)化，那就需要給他們自己一些時(shí)間來領(lǐng)先于其他人。

　　當(dāng)構(gòu)建一個(gè)系統(tǒng)時(shí)，有很多組件和變量，你可以在論文中列出它們，但你不一定要解釋你對它們所做的調(diào)整以獲得結(jié)果。這樣做以后，結(jié)果仍然可以得到驗(yàn)證，盡管這樣做需要更長的時(shí)間來復(fù)現(xiàn)。

[[430262]]

　　因此，如果一家企業(yè)看了你的論文，但因?yàn)檫@是一個(gè)公共領(lǐng)域，所以仍然有更多的時(shí)間將你的算法商業(yè)化，并將其推向生產(chǎn)。除此之外，想不出一篇被接受的論文的作者需要取消與評論員的討論的理由。不過，他也同意對一篇被拒絕的論文進(jìn)行討論。

　　OpenReview 帶來的「反腐敗」作用是很明顯的，例如有網(wǎng)友分享了看到一篇因?yàn)橹貜?fù)投稿被公開處刑的文章。

　　也有人表示 OpenReview 這種方式會促進(jìn)作者變得實(shí)誠，更好地改進(jìn)論文。

　　除此之外，OpenReview 也會促使評審人員在措辭時(shí)更加慎重，不能無故以各種荒謬?yán)碛蓙砭芨濉?/p>

　　在今年 NeurIPS 2021 公告中認(rèn)為，OpenReview 提供了高度可定制化的接口，并且可以很容易地適配會議規(guī)模的增長。OpenReivew 系統(tǒng)提供了很多改進(jìn)項(xiàng)，例如：可自行管理的用戶配置、利益沖突（COI）聲明以及改進(jìn)的程序委員交互方式。

　　在默認(rèn)的情況下，被拒絕的投稿不會被公開。但在 NeurIPS 2021 上，被拒論文的作者可以在通知截止日期后的兩周內(nèi)選擇公開其匿名化的論文，并在 OpenReview 中公開發(fā)表評論。

　　「我們認(rèn)為這是最好的折中方案，因?yàn)樗€可以讓初級研究人員避免因?yàn)橛泻Φ墓才u而遭受打擊。」