會議論文的錄用竟然能內定？

審稿人是你朋友？

大規模調參，用最好的結果對比基線來發論文？

具有學術道德應當是發表論文的基礎，近日，計算機科學家Michael L. Littman在Communications of ACM上發表了一篇文章，揭露了計算機科學界廣泛的學術欺詐，引起了軒然大波！

Michael L. Littman是計算機科學家。他主要從事強化學習，但在機器學習，博弈論，計算機網絡，部分可觀察的馬爾可夫決策過程求解，類比問題的計算機求解等領域都做過工作。他目前是布朗大學的計算機科學教授。

論文主要內容

計算機科學學科歷來能夠有效地利用同行評議的會議出版物作為傳播及時和有影響力的研究成果的重要機制。

但最近會議論文試圖玩弄這一審查制度，可能損害我們有效分享研究的能力。

我想提醒社區注意一個日益嚴重的問題，這個問題打擊了審查過程所依賴的基本假設。我希望揭露一個不道德的個人群體的行為將鼓勵其他人施加社會壓力，這將有助于使相互作用者趨于一致，邀請更廣泛的人參與解決問題，并提供一些鼓勵的人陷入更高級的研究人員共謀解救自己，使共同事業與社會的其他人。我寫這個觀點的動機是因為我意識到在計算機架構界有一個例子，一個初級研究員可能自殺了，而不是繼續參與可能的勾結。

共謀環(Collusion rings)涉及的領域遠遠不止計算機體系結構。一個具體的數據，來自人工智能和機器學習領域，一些細節(如具體會議的身份)不會暴露出來，因為我認為點名弊大于利。由于我的目標是提高人們對這個問題的認識，幫助人們了解這個問題有多么普遍，我不認為這些細節是必要的。

首先讓我提醒大家一下審查過程中的幾個重要特征。我所描述的并不是任何具體會議所使用的，但它與我參與組織的三四次大型會議非常吻合。

1.同行評議過程由一個項目委員會執行，該委員會由一兩名項目主席、數百名區域主席和大約5,000名評議員組成。評審人員被要求申報利益沖突，這樣他們就不會被指派去評審那些會損害他們不公正性的論文

2.作者提交的論文，他們的姓名要被隱去參與審查(blind)。一個值得注意的會議去年收到了1萬份意見書，而6年前的歷史最高水平只有1000份。

3.審稿人根據論文標題/摘要對提交的論文進行“競標”，以表明他們有資格審稿

4.評審人員是由項目主持人指定的論文，他們試圖尊重他們的投標，同時避免公開的利益沖突

5.評論員閱讀指定的論文并提交評論。他們彼此分享他們的評論，并試圖就每篇論文達成共識的建議(接受/拒絕) ，這些論文是區域主席和項目主席用來構建會議的技術計劃的

總的來說，風險很高，因為接受率很低(15%-25%) ，在任何特定的會議上發表文章的機會被限制在一年一次，出版物在建立研究人員的聲譽和最終的專業成功中扮演著中心角色。學術職位的競爭非常激烈，因此每次論文被拒，尤其是對研究生來說，都會對未來的就業前景產生真正的影響。一些國家將晉升和薪水的決定與在一組特定的高知名度會議(和期刊)上接受的論文數量聯系起來。

考慮到這個過程的強度，研究人員非常努力地讓自己做到最好。在會議截止日期之前的一兩周里，研究人員忽視了其他職責，電腦處于最佳運行狀態，睡眠時間極少，這讓他們倍感壓力。即便如此，努力工作似乎也不足以保證成功ー眾所周知，審查過程是隨機的。在2014年一個廣為人知的案例中，神經信息處理系統會議的組織者成立了兩個獨立的項目委員會，兩個委員會審查了10% 的提交材料。結果是，幾乎60% 的論文被一個項目委員會接受，但被另一個項目委員會拒絕，這表明許多論文的命運取決于挑選的審稿人的具體情況，而不僅僅是工作本身的內在價值。

作為回應，一些作者已經采取了與論文質量無關的干預措施，以增加他們的論文被接受的幾率。也就是說，他們在作弊。

下面是我所知道的一種作弊方式: 共謀環（collusion ring）。雖然這個特殊案例的細節沒有公開披露，但是發現并記錄這種行為的項目負責人花了無數個小時進行分析。問題很復雜，但我沒有理由懷疑他們的結論。以下是共謀環的工作原理:

1.相互之間共享彼此論文的標題，這違反了盲審的原則，并造成了重大的未披露的利益沖突

2.相互勾結的人隱藏利益沖突，然后投標審查這些文件，有時從復制帳戶，試圖被分配到這些論文作為審查員

3.相互勾結的人寫非常積極的評論這些文件，也許甚至游說領域的主席通過回渠道外的其他評論家的看法

4.同謀者有時會向不同謀者發送威脅性的電子郵件信息，如果同謀者發現他們的名字并相信不同謀者會受到影響

5.在討論過程中，一些串通的審稿人會臨時更改他們在線會議管理系統上的名字，也許是為了避免得到支持弱論文的名聲

這種攻擊的結果，如果沒有被發現和成功的話，就是一些作者因為非常不道德的行為而得到了紙質的獎勵。鑒于許多會議由于可在會議上提交的文件數量有限而不得不限制可接受的文件數量，這意味著其他值得提交的文件被拒絕以騰出空間。結果，會議的質量，甚至可能更重要的是，整體的完整性都受到了影響。

研究團體必須對串通行為做出強有力的回應，向行為不端的作者和評論者發出明確的信息: 他們的行為是不可接受的。然而，除了明確的信息之外，還不清楚應該采取什么干預措施來抑制共謀。會議組織者在幕后正在權衡數十個提案，所有這些都有潛在的陷阱。更好的紙張分配技術將有助于堵住一個正在被利用的漏洞。但是，如果沒有更好的調查工具，我們可能永遠無法追究那些同謀者的責任。

科學研究是一項深度合作的事業。研究人員爭奪注意力和資金來源，但也建立在他們的競爭對手的想法之上。大多數研究人員將他們的工作視為對更深層次理解的探索，而不僅僅是一種支付賬單的方式。目前，同行評審過程主要由誠實的參與者組成。但是，一旦不道德的行為足夠普遍，繼續參與發現社區的動機就消失了。作弊者冒著摧毀他們賴以取得職業成功的體系的風險。現在是時候密切關注同行評議的過程，并調整激勵機制，以便每個人都能盡可能地分享最好的研究成果。

Buckman的評論：學術欺騙請再大膽一些！

Jacob Buckman是蒙特利爾學習算法研究所（MILA, Montreal Institute for Learning Algorithm）的一名博士生，2017年在卡內基梅隆大學取得學士學位，曾在NIPS等頂會發表多篇論文。

Buckman在自己的網站上發表了一篇博客，表示自己做的經常都是。

明顯的學術欺詐是我們社區大多數學者經常犯的那種世俗的、日常的欺詐行為的自然延伸。在幾十個種子上試驗這個閃亮的新算法，然后只報告最好的幾個。

對提出的方法運行一個大的超參數掃描，但是使用默認的基線。挑選模型看起來不錯的例子，或者挑選整個數據集進行測試，確認模型的優勢。

建立新的問題設置，新的數據集，新的目標，以便在一個空的競技場上取得勝利。在你的介紹中宣稱你的工作是有希望的第一步，盡管你充分意識到沒有人會在此基礎上繼續努力。

在一個會議上提交一篇論文，因為它有獲得接受的良好機會，而且你不希望浪費你花在上面的時間，即使你已經意識到核心思想并不完全正確。

這種低調欺詐的問題在于它是潛伏的，是微妙的。

在許多方面，欺詐行為與一個簡單的錯誤是難以區分的。

我們很難讓自己去懲罰一個好心的研究生，因為他可能犯了一個看似簡單的錯誤，所以我們讓這些事情過去，過去，過去，直到它們變得正常。

當標準低的時候，把自己放在更高的標準上對任何個人都沒有好處。這個領域的新手看到這些東西，他們學習，他們模仿。通常，他們都是直接受到導師的鼓勵。一個一年發表三篇論文的研究生是每個教授的夢想，所以最大化論文輸出的策略變成了實驗室文化。

當幾乎每個實驗室都認可某些行為時，它們就成為該領域研究標準的一部分。

當然，實際上很難將欺詐性發表的論文與“合法”發表的論文區分開來。

所以應當盡可能地讓學術欺詐行為更加明目張膽，把計算機科學的學術大廈推倒重建，這也許能加強我們社區的學術規范，改變我們研究的方式，并提高我們的集體能力，進步人類的知識。

最后，Buckman開玩笑地提了一下自己的所有論文都是bullshit，并聲明所有論文的代碼都是開源可復現的。

Reddit網友評論

Buckman寫的這篇博客被放到Reddit上，獲得了460多個贊。

首先是我有一個朋友系列，他認識一個機器學習的研究生，發現他的教授的論文是編造的，就像他的其他研究生一樣，他們的工作都是基于教授的論文。唯一的問題是這個研究生對學術界失去了信心。這并不是我所認識的唯一一個因為教授們的低水平表現而逃離學術界的博士級別的人。

還有網友說有一個3d點云的論文，論文中聲稱他們的速度要比sota模型快30倍，實際上他卻慢了8倍，但還是沒人能說他的論文是學術欺詐，也許他使用了一些根本沒在論文中提到的技術。有網友補充說，那些根本無法復現的論文就更不用提了。

也有網友指出這是學術研究中的一個普遍問題，而不僅僅是 AI/ML/CS。

最后，一位坦率的網友表示：

你身邊有學術欺詐的人嗎？