AI都干過什么讓人細思極恐的事
談到人工智能(AI)總會有人覺得恐怖。
到底怕在何處?你有證據么?
巧了。美國問答網站Quora上就有這么一個問題：到目前為止，AI做過最可怕的事情是什么?
套用2000年高考全國卷的作文題：答案是豐富多彩的。量子位從中嚴選了一些有趣的回答。
其中有些獲得高票贊同，有些支持者寥寥。
開始~
一、Mike Sellers
企業家，游戲設計師，AI研究員
虛擬食人族算么?
十幾年前，我為DARPA做一些AI方面的研究。當時我們在探索如何讓智能體(Agent)學會社交互動。在其中一個模擬中，我們創建了兩個智能體，很自然的命名為：亞當和夏娃。它們知道怎么進食，但不知道該吃什么。
我們給了一顆蘋果樹，它們發現吃蘋果很開心。它們還嘗試過吃樹、吃房子等等，不過吃這些都沒用。
其實這個系統里還有一個智能體，名叫斯坦，它不是很擅長社交，所以經常獨處。
有一次，亞當和夏娃正在吃蘋果，但一個bug出現了：它倆沒吃飽，但是蘋果沒了。這時斯坦正在附近閑逛，所以亞當和夏娃就把饑餓感與斯坦聯系在一起。不久之后，當蘋果再次吃完的時候，斯坦被當成了食物。
亞當和夏娃都要咬了斯坦一口。
默認情況下，每個智能體的質量是1.0，每咬一口就減少0.5，所以兩口下去，斯坦就變成了0.0。斯坦消失了。可能它是虛擬同類相殘的第一個受害者。
4.7k 贊
二、Nitin Gopi
好奇
計算機程序 vs 俄羅斯方塊
不知道你們聽過這件事沒，很多人覺得可怕。
CMU博士Tom Murphy創造了一個AI，能通過觀察得分來學會玩NES(其實就是任天堂紅白機)游戲。原理很簡單，做得對就得分，然后不斷嘗試。這個AI學會了很多打游戲的技巧和策略，甚至一些人類都不知道的bug。
這個AI叫做“NES游戲自動化技術”，幾乎可以搞定所有的游戲。
Tom讓這個程序玩俄羅斯方塊。這個游戲不用多介紹了，簡單卻又很有挑戰。方塊的出現是隨機的，所以AI也無法很好的進行長遠規劃。
在一次玩俄羅斯方塊時，眼看游戲就要結束，AI做了一個令人毛骨悚然的舉動：它沒有坐等game over，而是按下了暫停按鈕。一直暫停不動了。
不知怎的，這件事讓我隱隱的不安。
1.7k 贊
三、Vasily Konovalov
軟件工程師，ML/NLP研究員
這個故事發生在不久之前。
“Facebook的工程師驚慌失措，趕緊拔掉了AI的電源插頭”
“人類真的創造出弗蘭肯斯坦?”
上面的引用，都用來描述Facebook開發的談判機器人。這個研究是想開發一種能以自然語言進行多問題談判的AI系統。對話系統的復雜架構被經過訓練的RNN網絡取代，對話策略的訓練采用了強化學習。
不過在這個AI嘗試互相學習的過程中，產生了一些看起來“令人毛骨悚然”的對話。
(傳送門： 讓AI“創造了語言”的Facebook研究員怒懟媒體報道“不負責任” )
143 贊
四、Sriraman Madhavan
斯坦福學統計，Facebook實習
Target超市比父母更早發現了一名懷孕少年。
一位憤怒的父親走進Target超市要見經理。“你們怎么給我女兒寄這個!”他吼道“她還是高中生，你們寄送嬰兒用品的優惠券?鼓勵她懷孕?”
幾天之后。“我跟女兒談了”，這位父親說“家里有些情況我自己都沒注意到。他的預產期在八月份。我欠你們一個道歉”。
事情是這樣的。Target超市有一個系統，能根據每位顧客的購物清單，推測他們的“懷孕指數”。這個系統可以比較精準的估算預產期，以便Target寄送特定階段的優惠券。
這件事發生在2012年，現在也談不上什么最先進的AI。但它仍是一個令人感到可怕的機器學習模型。
7k 贊
五、Shay Zykova
ESL教師，來自夏威夷住在俄羅斯
比方，殺死競爭對手。
這是我聽來的故事，但我發誓 是真事 。美國的大學(應該是MIT)舉辦了一場機器人大賽。參賽團隊需要設計一個機器人，任務是把羊(也是機器的)抓到自己的羊圈里。機器人需要自主思考并執行策略，抓羊最多的才能贏得比賽。
比賽開始，機器人開始瘋狂的捉羊。但是，有個機器人只捉了一只羊，就關上了羊圈的門。隨后，可怕的事情發生了。這個機器人開始摧毀其他的參賽對手。它的策略是，根本不用捉羊，把對手消滅掉就贏了。
細思極恐……
407 贊
六、Arun
市場
Salty Dog 502(咸狗502)
諾斯洛普·格魯門公司(Northrop Grumman)曾經創造了一個很棒的無人機，代號X-47B(也就是Salty Dog 502)，2011年2月首飛。與其他無人機不同，這架無人機的飛行不怎么需要人類干預，主要是AI系統自己決定。
X-47B成為歷史上第一架成功在航母上著陸的無人機，這不是一件易事。
不過就在測試期間，有意思的事情發生了。兩次成功的起降之后，Salty Dog 502加滿了油然后繼續測試，準備進行第三次著陸。一切看起來都很正常，人們都在美國海軍布什號航母上等待著。然而意外發生了。
無人機沒有在艦上著陸，而是選擇降落在附近的Wallops島空軍基地。在AI看來，這個地點降落可能是更安全的選擇。也就是說，這個AI認為自己的決定比人類的指令優先級更高。在我看來，這是迄今為止最接近天網的東西。
也許我們該聽 伊隆·馬斯克的話 ，要不然就太遲了。
這一事件之后，美國海軍決定停止資助X-47B的研發。
283 贊
七、Sara Manar
我覺得，應該是2010年的華爾街慘案。
當時一個交易員使用了欺騙算法，偽裝出悲觀的市場情緒，掛出數千筆賣單，然后經過數量更多的修改，最后取消。這一系列操作，被認為背后得到了2億美元的資金支持。
而這種高頻交易算法，也引發了一系列后續的連鎖反應：ETF和股指掉頭向下，出現大幅下滑的態勢，30分鐘之內，大約1萬億美元的市值蒸發了。
盡管這種算法已經被仔細的研究過，但是至于如何精確掌握算法引發的連鎖反應軌跡，以及如何防止類似情況再現方面，人類仍然無能為力。因為整個的設置和底層算法太復雜，以至于沒辦法被理解。
高頻批量交易算法，可以成為聚集大量財富的工具，也能成為具有大規模毀滅性的武器，這是一件可怕的事情。
28 贊
八、Matthew Moore
退休碼農
Gay-dar：神經網絡通過面部圖片判斷性取向的準確性超過人類。準確的說，研究人員有一個令人毛骨悚然的想法，就是可以更準確的訓練神經網絡來識別同性戀。
(報道傳送門： 可怕!斯坦福AI看臉即知性取向 )
我覺得這是不該做的研究。因為有些政府還將同性戀視為犯罪行為，所以這個研究有可能帶來遠遠超出預想的危險。即便這個代碼不被公布也無濟于事，因為證明了這個方法是有效的。重復這個工作可能并不困難。
15贊
九、Daniel Gravel
你看過電影《終結者》么?一個反烏托邦的未來，有個叫天網的AI決定對人類發起戰爭，然后施瓦辛格前來拜訪。
美國國家安全局(NSA)也有一個名叫天網(SkyNet)的程序。用途是通過元數據追蹤疑似恐怖分子：誰呼叫了誰，從哪里，在何時等。這些數據被用來指導無人機發起攻擊。
十、編輯：
我被要求說明可怕在哪里……好吧，這可能是NSA正在好心辦壞事，試圖重現電影《終結者》里的一幕。
除了天網，還有一個名為MonsterMind的程序。天網識別目標，MonsterMind指揮無人機實施攻擊。整個過程都是自動化。
42贊
