[[406948]]

論文標題：

Using large-scale experiments and machine learning to discover theories of human decision-making

論文地址：

https://science.sciencemag.org/content/372/6547/1209

1. 用前景理論解釋風險決策

盲盒最近幾年變得越來越流行，為何人們會偏好不確定性，例如你面對30%的概率獲得100元的商品的盲盒A，以及80%概率獲得50元商品的盲盒B，為何有人愿意選擇第一種，哪怕其預期收益更低。

諾貝爾經(jīng)濟學將得主Kahneman和Tversky在1979年提出了前景理論 （Perspect theory） ，通過非線性折現(xiàn)，解釋了為何人在面對“失”時變得風險追求，而面對“得”時卻表現(xiàn)出風險規(guī)避。前景理論在經(jīng)濟建模、心理學、神經(jīng)科學、商業(yè)分析等領域中影響深遠，通過對消費者選擇的建模，該理論可以幫助政策制定者找出能夠提升個人及社會福祉的策略。

然而是在接下來的幾十年里，隨著幾十種相互競爭的理論不斷涌現(xiàn)出來，風險決策的模型間開始自相矛盾：每個理論都被證明是不完整的。提出新理論的研究人員通常會在諸如感知、注意力、記憶、情感等問題上做出復雜的假設，之后在小數(shù)據(jù)樣本而非更大的數(shù)據(jù)集上重現(xiàn)。

之所以有這么多相互競爭的理論，是因為人類的決策行為是復雜的，而且每個理論通常只能從不斷增長的假設清單中選擇一些，解釋部分場景下的風險決策現(xiàn)象。由于上述多樣性和復雜性，對于最佳決策理論或模型的共識仍然很少，在其整體預測能力方面也沒有什么收獲。

但模型的好壞，還需要比較模型基于的數(shù)據(jù)和其對大樣本決策數(shù)據(jù)的預測是否有明顯差異，就如同機器學習的模型要在訓練集和測試集上表現(xiàn)一致，才可確定沒有發(fā)生過擬合。如此，心理學家提出的假設，可以作為優(yōu)化問題中的約束條件，或者歸納偏差 （inductive bias） ，看看增加后是否有助于模型的預測能力，決定要不要增加這一假設。

2. 機器學習如何對風險決策建模

該研究首先利用亞馬遜的 Mechanical Turk 眾包平臺，收集了超過1萬個場景下，如圖1所示的、涉及概率的風險決策，這遠遠超過了以往研究中風險決策的數(shù)據(jù)。

圖1. 風險決策的某個場景示例

每一個風險決策的場景，都可以通過一組風險和收益的向量描述；之后通過t-SNE降維，可以將所有1萬個場景可視化。如圖2所示，其中綠色代表歷史中類似場景下的數(shù)據(jù)，紅色代表之前最大的單一數(shù)據(jù)集，而黑點代表該研究用到的數(shù)據(jù)集。相比紅點，黑點的數(shù)目是其30倍，且分布更均勻，更能反映風險決策本身的多樣性。

圖2. 一萬個風險決策場景降維后的可視化

人類所有可能的風險認知函數(shù)，如圖3所示，其中最簡單的預期收益 （Expect Value） ——可以看成是預期效益 （Expect Utility） 的特例，而前景理論則是采用了非線性函數(shù)的預期收益。如此，可以將所有的風險認知的包含關系及通用程度用圖3展示，其中的BEAST 代表 Best Estimate and Sampling Tools，是該研究找到的最好的預測模型。

圖3. 風險認知模型的包含關系示意圖

將認知模型的假設，轉(zhuǎn)換為神經(jīng)網(wǎng)絡中的約束。如圖4所示，例如基于預期收益的模型，每種效益函數(shù)，可以用一個一個的神經(jīng)網(wǎng)絡來表示，之后通過全連接層的組合使得最終的預測模型中，可由梯度下降優(yōu)化的函數(shù)。

圖4. 預期效益假設下的神經(jīng)網(wǎng)絡模型架構

3. 不同假設對應神經(jīng)網(wǎng)絡預測性能不同

如果一個神經(jīng)網(wǎng)絡模型能夠在特定場景下預測出的選擇，和實際中人類的預測有50%以上的概率重合，那么說明該模型能夠預測該場景 。對比訓練輪次和均方誤差，可以判斷不同的心理學理論對應的模型，在1000個未知場景組成的測試集上的準確性。

圖5. （左圖）預期效益框架下，神經(jīng)網(wǎng)絡（藍線）模型在測試數(shù)據(jù)集上隨著訓練輪數(shù)下降；（右圖）神經(jīng)網(wǎng)絡學到的對收益和效用的 對應函數(shù)

相比預期效益，前景理論指出人們看待不同的概率時，也會有非線性的認知 ，因此圖5最右方的主觀概率效應，并不像之前那樣是直線，而由于引入了這個額外的假設，使得模型的預測更加精確，具體見圖6。

圖6. 前景理論的預測誤差（左圖）和效用和主觀概率函數(shù)（右圖）

之前的模型中，假設獎勵的多少，和主觀概率是相互獨立的，不會因為收益是一萬，人們就會將千分之一的概率，在主觀上看成是百分之一，但是基于環(huán)境的模型放松了這一假設。其假設V(A) = ∑ _i∈A u(x _i , c ₁ ) π (p _i , c ₂ ) ，其中每個選項的效用取決于當前場景中的其它選項，而對概率的主觀認知，取決于概率對應的收益。當進行效用估計時，如只依賴于當前場景，這樣的模型稱之為單次賭博模型 （intra-gample） ，如果依賴于其它的場景，稱為多次賭博模型 （inter-gamble） ，如果不僅僅效用函數(shù)是場景相關的，對概率的主觀估計也是，那么稱之為Inter gamble prob/outcome 模型。

圖7. 不同的基于神經(jīng)網(wǎng)絡的模型，以及傳統(tǒng)認知科學模型對風險決策的預測誤差對比

通過圖7的對比，可以發(fā)現(xiàn)相比傳統(tǒng)認知科學提出的模型，基于神經(jīng)網(wǎng)絡訓練的模型，相比傳統(tǒng)模型預測效果更好， 這說明神經(jīng)網(wǎng)絡可以重現(xiàn)并超越已有的心理學研究 ，其次通過指出預測誤差最低的模型，即更為復雜的Inter gamble prob/outcome 模型，說明了 人類的風險認知本質(zhì)上是極為復雜的， 不能歸因于簡單的假設 。雖然大部分場景可以看成是主觀概率和主觀效用的乘積，但也應當考慮不同場景下的相對比較，以及概率和收益之間的相互依賴。

4. 混合模型具有更好的預測能力

人們面對風險決策時，時常會設想大腦中有兩個小人在相互斗嘴。這對應的是混合模型，即每個人有多組一一對應的主觀概率和效用函數(shù) （策略） ，之后按照特定的場景，有偏好的隨機選擇某一組策略，隨機選擇使用那組進行判斷。研究指出， 使用混合模型，預測效果和使用基于場景的模型，其最終預測誤差相近，說明混合模型能夠包含基于場景模型中的信息 ，同時由于該模型的簡單，其在訓練初期的表現(xiàn)更佳。

圖8. 混合模型的預測效果（左圖）效用函數(shù)示意（右圖）

圖8中神經(jīng)網(wǎng)絡學到的混合模型中對應的效用函數(shù)和主觀概率。值得注意的是，一個策略中習得效用函數(shù)顯然是損失厭惡的，而對應的主觀概率則如同前景理論預測的，對小概率的時間高估，而低估了大概率時的確定性，而另一個策略則是基本理性的。通過找出在什么場景下，人們會選擇理性的策略：什么時候人們會如前景理論預測的，什么時候選擇不理性的策略，研究者能夠更好地理解人類風險決策時，哪些因素的影響最大。

究竟哪些因素決定了人們的策略選擇，研究者發(fā)現(xiàn)最重要的因素是不同選項收益之間的差異度，最大收益和最小收益，以及選項中有多少是負面收益。即如果面對1元和一萬元這樣懸殊的差異，或者面對大多要失去的選項時，人們這時容易表現(xiàn)的不理性。圖9展示了對所有場景可視化后，不同場景下選擇不理性的主觀概率函數(shù)和效用函數(shù)的可能性，圖9-E中的藍色點，則是不理性的選項占據(jù)主導的場景。

圖9. 風險決策場景二維聚類后，不同選項對應的選擇概率設色熱圖

5. 總結

通過訓練深度學習模型，來預測人類在這些問題中的選擇，訓練好的模型可以非常高的準確率模擬人類的決策”，大大優(yōu)于現(xiàn)有的模型。 這并不意味著心理學家和行為經(jīng)濟學者的工作會被機器取代，我們?nèi)匀恍枰祟愋闹牵?nbsp;來解釋深度學習模型所代表的意義，將其轉(zhuǎn)換為描述性的理論。 傳統(tǒng)模型只在特定數(shù)據(jù)集下表現(xiàn)得比機器學習得出的模型更佳，但在海量數(shù)據(jù)集下則表現(xiàn)欠佳，而大型數(shù)據(jù)集與機器學習相結合算法為揭示新的認知和行為現(xiàn)象提供了前所未有的巨大潛力。

在學習模仿人類決策的過程中，神經(jīng)網(wǎng)絡重現(xiàn)了許多已知的認知科學理論，例如前景理論。由于深度學習的模型靈活性高，使得研究者能夠找到關于風險認知的全新洞見。因此，未來的認知科學，需要更多的使用機器學習去進行自動化建模，也需要實驗室場景之外的更多真實數(shù)據(jù)集，例如盲盒的銷售數(shù)據(jù)等。