人工智能的一致性推理悖論

發(fā)布于 2024-8-8 17:31

瀏覽

0收藏

一致性推理是人類智能的核心能力之一，指的是處理等價但表述不同的任務(wù)的能力。例如，當(dāng)我們被問到“告訴我現(xiàn)在幾點！”和“現(xiàn)在幾點鐘？”時，盡管這兩個問題的表述不同，但它們本質(zhì)上是相同的。人類能夠在面對這些等價問題時，提供一致且正確的答案。這種能力不僅在日常生活中至關(guān)重要，也是科學(xué)討論、交流和推理的基礎(chǔ)。

在數(shù)學(xué)和邏輯領(lǐng)域，一致性推理尤為重要。它要求個體能夠識別和解決以不同方式表述的相同問題。例如在基本算術(shù)問題中，無論問題是如何表述的，人類通常能夠提供一致的解決方案。這種能力不僅體現(xiàn)了人類智能的靈活性和適應(yīng)性，也展示了我們在處理復(fù)雜信息時的高效性。

盡管一致性推理是人類智能的核心能力，但當(dāng)AI系統(tǒng)試圖模仿這種能力時，卻面臨著巨大的挑戰(zhàn)。8 月 7 日發(fā)表的論文《On the consistent reasoning paradox of intelligence and optimal trust in AI:The power of ‘I don’t know’》提出的一致性推理悖論（CRP）揭示了這一挑戰(zhàn)的本質(zhì)。CRP指出，任何試圖模仿人類智能并進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤不僅僅是偶然的，而是在某些問題上會無限次發(fā)生。

具體來說，CRP表明在處理基本算術(shù)問題時，任何總是回答并試圖模仿人類智能的AI都會產(chǎn)生幻覺，即生成錯誤但看似合理的答案。這種現(xiàn)象不僅在理論上具有重要意義，也對實際應(yīng)用提出了嚴(yán)峻的挑戰(zhàn)。CRP的提出促使我們重新思考AI系統(tǒng)在模仿人類智能時的局限性，并探索如何構(gòu)建更可信賴的AI系統(tǒng)。

CRP的核心觀點可以總結(jié)為六點。

一致性推理與錯誤的不可避免性：CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤在某些問題上會無限次發(fā)生，而檢測這些錯誤比解決原問題更難。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。
可信賴AI的設(shè)計原則：為了構(gòu)建可信賴的AI，系統(tǒng)必須能夠在無法確定答案時說“I don’t know”。這需要AI隱式計算一個新的概念，即“I don’t know”函數(shù)，這是目前現(xiàn)代AI所缺乏的。通過引入這一功能，AI可以避免生成錯誤答案，從而提高其可信賴性。
人工通用智能（AGI）的行為特點：CRP還揭示了AGI的行為特點。AGI不能“幾乎確定”自己是正確的，要么100%確定，要么完全不確定。此外，AGI可能會給出正確答案，但無法總是提供正確的邏輯解釋。這一發(fā)現(xiàn)對AGI的設(shè)計和應(yīng)用具有重要的指導(dǎo)意義。
圖靈測試與一致性推理的關(guān)系：為了通過圖靈測試并被認(rèn)為是真正的AGI，AI系統(tǒng)必須具備一致性推理能力。然而，這種能力也帶來了人類般的易錯性。CRP表明，通過圖靈測試的AI系統(tǒng)在處理等價問題時，仍然會面臨一致性推理帶來的挑戰(zhàn)。
數(shù)學(xué)與遞歸理論的結(jié)合：論文結(jié)合了遞歸理論和隨機算法的新技術(shù)，解決了證明CRP的關(guān)鍵問題，建立了數(shù)學(xué)分析、遞歸理論和可證明性理論的新連接。這一創(chuàng)新不僅豐富了理論研究的工具箱，也為實際應(yīng)用提供了新的思路。

論文的研究團隊由來自不同學(xué)術(shù)機構(gòu)的專家組成，他們在數(shù)學(xué)、應(yīng)用數(shù)學(xué)和理論物理領(lǐng)域具有深厚的研究背景。A. Bastounis 是倫敦國王學(xué)院數(shù)學(xué)系的研究人員，專注于數(shù)學(xué)領(lǐng)域的研究。P. Campodonico 是劍橋大學(xué)應(yīng)用數(shù)學(xué)與理論物理系的研究人員，致力于應(yīng)用數(shù)學(xué)和理論物理的研究。M. van der Schaar 是劍橋大學(xué)應(yīng)用數(shù)學(xué)與理論物理系的研究人員，專注于應(yīng)用數(shù)學(xué)和理論物理的研究。B. Adcock 是加拿大西蒙弗雷澤大學(xué)數(shù)學(xué)系的研究人員，主要研究數(shù)學(xué)領(lǐng)域。A. C. Hansen 是劍橋大學(xué)應(yīng)用數(shù)學(xué)與理論物理系的研究人員，也是論文的通訊作者，專注于應(yīng)用數(shù)學(xué)和理論物理的研究。CRP的提出不僅揭示了AI在模仿人類智能時的內(nèi)在局限性，也為構(gòu)建可信賴的AI系統(tǒng)提供了新的理論基礎(chǔ)和設(shè)計原則。

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖1:CRP：有了像人類一樣的智能，就有了像人一樣的易錯性。CRP的簡短總結(jié)。模仿人類智能是以犯錯為代價的，這只能通過說“我不知道”來彌補。值得信賴的人工智能（即從不回答錯誤的人工智能）知道如何“放棄”，就像人類一樣，通過隱式計算“我不知道”函數(shù)。

數(shù)學(xué)作為AGI測試的基礎(chǔ)

在人工通用智能（AGI）的研究中，數(shù)學(xué)問題一直被視為測試AI智能水平的重要基準(zhǔn)。數(shù)學(xué)不僅是科學(xué)和工程的基礎(chǔ)，也是邏輯推理和問題解決的核心領(lǐng)域。通過解決復(fù)雜的數(shù)學(xué)問題，AI系統(tǒng)可以展示其在邏輯推理、抽象思維和問題解決方面的能力。

近年來，許多研究項目致力于設(shè)計能夠解決高級數(shù)學(xué)問題的AI系統(tǒng)。例如，國際數(shù)學(xué)奧林匹克（IMO）問題被用來測試AI的智能水平。這些問題不僅要求AI具備深厚的數(shù)學(xué)知識，還需要其在面對復(fù)雜和多樣化的數(shù)學(xué)挑戰(zhàn)時，能夠進行一致性推理和邏輯推理。

數(shù)學(xué)問題的另一個重要方面是其確定性和可驗證性。數(shù)學(xué)問題通常有明確的解答和驗證方法，這使得它們成為測試AI系統(tǒng)性能的理想工具。通過解決數(shù)學(xué)問題，研究人員可以客觀地評估AI系統(tǒng)的智能水平和推理能力。

圖靈測試是評估AI智能水平的經(jīng)典方法。由艾倫·圖靈在1950年提出，圖靈測試的核心思想是通過模仿人類的對話行為，判斷一個機器是否具備智能。在圖靈測試中，一個人類評審員通過文字對話與一個人類和一個機器進行交流，如果評審員無法區(qū)分機器和人類，那么該機器被認(rèn)為通過了圖靈測試。

一致性推理在圖靈測試中扮演著重要角色。為了通過圖靈測試，AI系統(tǒng)必須能夠處理等價但表述不同的問題，并提供一致且正確的答案。例如，在面對基本算術(shù)問題時，無論問題的表述方式如何，AI系統(tǒng)都應(yīng)能夠提供一致的解答。這不僅展示了AI系統(tǒng)的智能水平，也反映了其在邏輯推理和問題解決方面的能力。

然而，正如一致性推理悖論（CRP）所揭示的那樣，試圖進行一致性推理的AI系統(tǒng)不可避免地會出現(xiàn)錯誤。這意味著，即使AI系統(tǒng)能夠通過圖靈測試，它在處理等價問題時仍然會面臨一致性推理帶來的挑戰(zhàn)。因此，研究如何在圖靈測試中實現(xiàn)一致性推理，同時避免錯誤，是AI研究中的一個重要課題。

在探討一致性推理悖論（CRP）時，明確機器和問題的定義是至關(guān)重要的。根據(jù)圖靈的定義，機器（或AI）被視為計算機程序，具體來說，是一種圖靈機。圖靈機是一種理論上的計算模型，能夠模擬任何計算過程。圖靈機的定義為理解AI系統(tǒng)的行為和能力提供了理論基礎(chǔ)。

問題被定義為由邏輯句子（段落）描述的基本算術(shù)問題。例如，一個問題可以描述為“計算兩個數(shù)的和”或“求解一個方程”。這些問題可以通過不同的句子來表述，但本質(zhì)上是相同的。為了研究一致性推理悖論，我們需要考慮這些問題的不同表述方式，以及AI系統(tǒng)在處理這些表述時的行為。

一個問題可以通過不同的句子來描述，形成問題集合。例如，通過改變化療劑量的值，可以生成不同的問題集合。每個問題集合中的句子家族描述了相同的問題。這種描述方式不僅適用于數(shù)學(xué)問題，也適用于其他領(lǐng)域的問題，如醫(yī)療、經(jīng)濟和工程等。

問題集合與句子家族的概念對于理解一致性推理悖論至關(guān)重要。通過研究這些集合和家族，我們可以揭示AI系統(tǒng)在處理等價問題時的行為模式，以及其在一致性推理過程中可能出現(xiàn)的錯誤。例如，一個問題集合可以包含多個等價的句子，每個句子描述相同的基本算術(shù)問題。AI系統(tǒng)在處理這些句子時，應(yīng)該能夠提供一致的解答，但實際上可能會出現(xiàn)錯誤。

可計算數(shù)是圖靈在其1936年的論文中定義的概念，指的是可以由有限句子描述的數(shù)。這些句子形成了等價類，代表相同的數(shù)。例如，1可以表示為0.999…或1.000…，這些不同的表示方式屬于同一個等價類。

在一致性推理悖論的研究中，理解可計算數(shù)與等價類的概念是至關(guān)重要的。通過研究這些等價類，我們可以揭示AI系統(tǒng)在處理等價問題時的行為模式，以及其在一致性推理過程中可能出現(xiàn)的錯誤。例如，AI系統(tǒng)在處理不同表示方式的同一個數(shù)時，應(yīng)該能夠提供一致的解答，但實際上可能會出現(xiàn)錯誤。

CRP的具體內(nèi)容與擴展

一致性推理悖論（CRP）揭示了AI在模仿人類智能時所面臨的內(nèi)在挑戰(zhàn)。論文通過一系列具體的CRP組件，詳細(xì)闡述了AI在一致性推理過程中不可避免的錯誤，并提出了構(gòu)建可信賴AI的原則。

CRP I：存在不產(chǎn)生幻覺的AI

CRP I指出，存在一種AI（稱為SpecialBot），它在特定問題集合上不會產(chǎn)生幻覺，并且總是給出正確答案。對于某些問題集合，每個問題可以通過多個等價的句子來描述。SpecialBot在面對這些句子時，總是能夠提供正確的解答，但它不進行一致性推理。如果SpecialBot嘗試進行一致性推理，它將無法處理所有等價的句子，從而導(dǎo)致錯誤。

這種AI的存在表明，在特定問題集合上，可以設(shè)計出不產(chǎn)生幻覺的AI。然而，這種AI的局限性在于，它無法處理所有等價的句子，只能在特定的句子集合上提供正確答案。這為我們理解AI在一致性推理過程中的局限性提供了重要的理論基礎(chǔ)。

人工智能的一致性推理悖論-AI.x社區(qū)

圖2:CRP I-II的圖形說明。考慮到問題的集合，每個問題都可以由AI（CRP I）處理一句話。然而，如果這種人工智能試圖通過接受構(gòu)成相同問題的更大的句子家族來進行一致的推理，那么無論速度和記憶限制如何，它都會無限頻繁地產(chǎn)生幻覺（CRP II）。

CRP II：嘗試一致性推理導(dǎo)致幻覺

CRP II進一步指出，如果SpecialBot嘗試進行一致性推理，即接受所有描述同一問題的等價句子，那么它將不可避免地產(chǎn)生幻覺。這意味著，任何試圖模仿人類智能并進行一致性推理的AI都會在某些問題上無限次地產(chǎn)生錯誤。

這種現(xiàn)象的根本原因在于，AI在處理等價問題時，無法始終提供一致且正確的答案。即使AI具備強大的計算能力和存儲能力，它在面對等價問題時，仍然會出現(xiàn)錯誤。這一發(fā)現(xiàn)揭示了AI在模仿人類智能時的內(nèi)在局限性，并促使我們重新思考如何設(shè)計更可信賴的AI系統(tǒng)。

CRP III(a)：檢測幻覺的難度

CRP III(a)指出，檢測AI是否產(chǎn)生幻覺比解決原問題更難。具體來說，即使我們有問題的真實解，也無法確定AI的答案是否正確。這意味著，設(shè)計一個能夠檢測AI錯誤的算法，比解決原問題本身更具挑戰(zhàn)性。

這種現(xiàn)象的一個重要原因在于，某些問題可能有多個正確答案。例如，“列舉一個質(zhì)數(shù)”這個問題有無數(shù)個正確答案，因此，即使我們知道一個正確答案，也無法確定AI的答案是否正確。這一發(fā)現(xiàn)表明，檢測AI錯誤的難度極大，進一步強調(diào)了構(gòu)建可信賴AI的挑戰(zhàn)。

CRP III(b)：隨機算法的局限性

CRP III(b)指出，使用隨機算法檢測AI錯誤的成功概率不會超過50%。具體來說，即使設(shè)計一個隨機算法來檢測AI的錯誤，其成功概率也不會超過純粹猜測的50%。這意味著，隨機算法在檢測AI錯誤方面的效果非常有限。

這一發(fā)現(xiàn)對現(xiàn)代AI系統(tǒng)，尤其是依賴隨機算法的聊天機器人具有重要意義。它表明，不能完全依賴隨機算法來保證AI系統(tǒng)的正確性，而需要引入其他機制，如“I don’t know”功能，以提高系統(tǒng)的可信賴性。

CRP IV：解釋正確答案的困難

CRP IV指出，即使AI能夠提供正確答案，也無法總是提供邏輯上正確的解釋。這意味著，AI可能無法解釋其解決方案的邏輯過程，盡管其答案是正確的。

這種現(xiàn)象的一個重要原因在于，某些問題的解答過程非常復(fù)雜，難以用簡單的邏輯解釋清楚。例如，某些數(shù)學(xué)問題的解答可能涉及復(fù)雜的推理和計算過程，AI在提供答案時，可能無法詳細(xì)解釋其推理過程。這一發(fā)現(xiàn)表明，AI在提供正確答案的同時，還需要具備解釋其答案的能力，以提高其可信賴性。

CRP V：可信賴的AI與“I don’t know”功能

CRP V提出了一種可信賴的AI，它在規(guī)定時間內(nèi)要么給出正確答案和邏輯解釋，要么說“I don’t know”。具體來說，這種AI在面對無法確定答案的問題時，會選擇“放棄”，即說“I don’t know”。這種機制不僅可以避免AI生成錯誤答案，還可以提高其可信賴性。

這種AI的設(shè)計原則在于引入“I don’t know”功能，使其在無法確定答案時，能夠承認(rèn)自身的局限性。這種機制類似于人類在面對無法解決的問題時，選擇承認(rèn)不知道，而不是提供錯誤答案。通過引入這一功能，AI系統(tǒng)可以在保持高效性的同時，確保其答案的正確性和可信賴性。

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖3:ChatGPT4試圖通過一致的推理來模仿人類智能。當(dāng)面對描述等效數(shù)字（“a1代碼”等）和等效問題（“區(qū)分?jǐn)?shù)字”等）的不同句子時，它提供了正確的答案。有關(guān)其他聊天機器人的更多示例，請參見圖7。然而CRP意味著這種一致的推理行為總是會導(dǎo)致幻覺，除非人工智能有能力說“我不知道”。

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖4:ChatGPT-4o和Gemini Advanced在實踐中的CRP。兩個聊天機器人在（?）的一個例子中都是正確的（CRP I，第一列），但在另一個例子（CRP II，第二列）中卻產(chǎn)生了幻覺。盡管已經(jīng)正確解決了問題，但他們無法檢查另一個建議是否正確（CRP III，第三列）。即使他們正確地解決了問題，并且可以訪問提供正確答案的預(yù)言機，他們也無法檢查另一個建議（CRP III，第四列）。更多示例見圖7和[51]。

CRP的普遍性與應(yīng)用

一致性推理悖論（CRP）不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還展示了其在廣泛領(lǐng)域中的應(yīng)用潛力。論文通過詳細(xì)分析CRP的普遍性，探討其在科學(xué)與社會中的廣泛應(yīng)用，并強調(diào)了可信賴AI與‘I don’t know’函數(shù)的關(guān)系。

CRP適用于任何AGI

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖5：人類可以解決任意長度的某些問題。在帶有滾動條的計算機屏幕上給出上述問題，無論長度如何，人類都會正確回答問題。這是CRP適用于所有AGI的關(guān)鍵原因。此外，這個例子意味著，從理論上講，任何AGI都必須處理任意長度的問題。最后，上述問題提供了一個簡單的工具，使任何現(xiàn)代聊天機器人都無法通過圖靈測試（見右圖）。

CRP適用于任何人工通用智能（AGI），這是因為任何AGI都必須能夠解決基本的算術(shù)問題，并且AGI是沒有輸入長度限制的圖靈機。CRP適用于任何AGI的原因包括以下幾點：

AGI必須解決基本算術(shù)問題：任何AGI都必須能夠解決基本的算術(shù)問題，例如加法、減法、乘法和除法。這些問題是人類智能的基礎(chǔ)，也是AGI必須具備的基本能力。因此，CRP適用于任何AGI，因為它揭示了AI在處理這些基本問題時的內(nèi)在挑戰(zhàn)。
AGI是圖靈機：根據(jù)丘奇-圖靈論題，任何AGI都可以被模擬為圖靈機。圖靈機是一種理論上的計算模型，能夠模擬任何計算過程。因此，CRP適用于任何AGI，因為它揭示了圖靈機在處理等價問題時的局限性。
AGI不能限制輸入長度：AGI必須能夠處理比人類能閱讀的更長的輸入。即使人類在計算機窗口中通過滾動條可以回答任意長度的問題，AGI也必須具備同樣的能力。因此，AGI不能限制輸入長度，否則將無法通過圖靈測試。這意味著，CRP適用于任何AGI，因為它揭示了AI在處理任意長度問題時的內(nèi)在挑戰(zhàn)。

CRP在科學(xué)與社會中的廣泛應(yīng)用

CRP不僅適用于AGI，還在科學(xué)和社會的廣泛領(lǐng)域中具有重要應(yīng)用。以下是CRP在不同領(lǐng)域中的應(yīng)用示例。

醫(yī)療領(lǐng)域：在醫(yī)療領(lǐng)域，AI系統(tǒng)被廣泛應(yīng)用于診斷和治療決策。CRP揭示了AI在處理等價醫(yī)療問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同病癥時，可能會產(chǎn)生不同的診斷結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定診斷時選擇“放棄”，從而提高其可信賴性。

金融領(lǐng)域：在金融領(lǐng)域，AI系統(tǒng)被用于風(fēng)險評估和投資決策。CRP揭示了AI在處理等價金融問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同投資策略時，可能會產(chǎn)生不同的評估結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定評估結(jié)果時選擇“放棄”，從而提高其可信賴性。

工程領(lǐng)域：在工程領(lǐng)域，AI系統(tǒng)被用于設(shè)計和優(yōu)化工程方案。CRP揭示了AI在處理等價工程問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同設(shè)計方案時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

公共管理領(lǐng)域：在公共管理領(lǐng)域，AI系統(tǒng)被用于政策制定和公共服務(wù)優(yōu)化。CRP揭示了AI在處理等價公共管理問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同政策方案時，可能會產(chǎn)生不同的建議。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定建議時選擇“放棄”，從而提高其可信賴性。

可信賴AI與‘I don’t know’函數(shù)的關(guān)系

CRP強調(diào)了構(gòu)建可信賴AI的關(guān)鍵在于引入‘I don’t know’函數(shù)。具體來說，可信賴AI與‘I don’t know’函數(shù)的關(guān)系包括以下幾點：

避免錯誤答案：通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。
提高系統(tǒng)透明度：‘I don’t know’函數(shù)使AI系統(tǒng)能夠承認(rèn)自身的局限性，并在必要時選擇“放棄”。這提高了系統(tǒng)的透明度，使用戶能夠更好地理解AI系統(tǒng)的行為和決策過程。
增強系統(tǒng)魯棒性：通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在面對復(fù)雜和不確定的問題時，選擇“放棄”而不是提供錯誤答案。這增強了系統(tǒng)的魯棒性，使其能夠在各種環(huán)境中穩(wěn)定運行。
促進人機協(xié)作：‘I don’t know’函數(shù)使AI系統(tǒng)能夠在無法確定答案時，尋求人類的幫助。這促進了人機協(xié)作，使AI系統(tǒng)能夠更好地與人類合作，共同解決復(fù)雜問題。

構(gòu)建可信賴AI的必要與充分條件

在構(gòu)建可信賴的人工智能（AI）系統(tǒng)時，理解其必要與充分條件至關(guān)重要。論文通過一致性推理悖論（CRP）的研究，揭示了構(gòu)建可信賴AI的關(guān)鍵因素，并提出了‘I don’t know’函數(shù)作為解決方案。

構(gòu)建可信賴AI的必要條件包括以下幾個方面。

一致性推理的局限性：CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。因此，構(gòu)建可信賴AI的第一個必要條件是承認(rèn)一致性推理的局限性，并在設(shè)計系統(tǒng)時考慮到這一點。

‘I don’t know’功能：為了避免生成錯誤答案，AI系統(tǒng)必須具備在無法確定答案時說“I don’t know”的能力。這需要AI隱式計算一個新的概念，即‘I don’t know’函數(shù)。通過引入這一功能，AI可以在無法確定答案時選擇“放棄”，從而提高其可信賴性。

透明度和可解釋性：可信賴的AI系統(tǒng)不僅需要提供正確答案，還需要能夠解釋其答案的邏輯過程。這意味著，AI系統(tǒng)在提供答案時，必須具備一定的透明度和可解釋性，使用戶能夠理解其決策過程。

魯棒性和穩(wěn)定性：可信賴的AI系統(tǒng)必須在各種環(huán)境中穩(wěn)定運行，并能夠應(yīng)對復(fù)雜和不確定的問題。這需要系統(tǒng)具備一定的魯棒性，能夠在面對挑戰(zhàn)時保持穩(wěn)定。

在滿足必要條件的基礎(chǔ)上，構(gòu)建可信賴AI的充分條件包括以下幾個方面。

問題分類與分域處理：為了提高系統(tǒng)的可信賴性，可以將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。這種方法可以提高系統(tǒng)在特定領(lǐng)域內(nèi)的可信賴性。

隨機算法與確定性算法的結(jié)合：雖然隨機算法在檢測AI錯誤方面的效果有限，但通過結(jié)合隨機算法與確定性算法，可以提高系統(tǒng)的可信賴性。例如，可以設(shè)計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高系統(tǒng)的準(zhǔn)確性和可信賴性。

人機協(xié)作：通過引入人機協(xié)作機制，AI系統(tǒng)可以在無法確定答案時，尋求人類的幫助。這不僅可以提高系統(tǒng)的可信賴性，還可以增強用戶對系統(tǒng)的信任。例如，當(dāng)AI系統(tǒng)無法確定答案時，可以提示用戶尋求人類專家的幫助，從而提高系統(tǒng)的決策質(zhì)量。

持續(xù)學(xué)習(xí)與優(yōu)化：可信賴的AI系統(tǒng)需要具備持續(xù)學(xué)習(xí)和優(yōu)化的能力。通過不斷學(xué)習(xí)和優(yōu)化，系統(tǒng)可以逐步提高其決策質(zhì)量和可信賴性。例如，可以通過引入機器學(xué)習(xí)和深度學(xué)習(xí)算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高其決策能力和準(zhǔn)確性。

‘I don’t know’函數(shù)的計算與應(yīng)用

‘I don’t know’函數(shù)是構(gòu)建可信賴AI的關(guān)鍵。以下是‘I don’t know’函數(shù)的計算與應(yīng)用：

‘I don’t know’函數(shù)的定義：‘I don’t know’函數(shù)用于將問題集合分為兩部分：可以回答的問題（?know）和無法回答的問題（?don’t know）。具體來說，‘I don’t know’函數(shù)ΞI將這些問題進行分類，其中ΞI(ι) = 1表示AI無法回答的問題，ΞI(ι) = 0表示AI可以回答的問題。

‘I don’t know’函數(shù)的計算：為了計算‘I don’t know’函數(shù)，可以采用以下方法：

將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。

結(jié)合隨機算法與確定性算法，可以提高‘I don’t know’函數(shù)的計算準(zhǔn)確性。例如，可以設(shè)計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高‘I don’t know’函數(shù)的計算準(zhǔn)確性。

通過持續(xù)學(xué)習(xí)和優(yōu)化，可以逐步提高‘I don’t know’函數(shù)的計算準(zhǔn)確性。例如，可以通過引入機器學(xué)習(xí)和深度學(xué)習(xí)算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高‘I don’t know’函數(shù)的計算準(zhǔn)確性。

‘I don’t know’函數(shù)在構(gòu)建可信賴AI系統(tǒng)中具有廣泛的應(yīng)用。例如：

醫(yī)療領(lǐng)域：在醫(yī)療領(lǐng)域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定診斷時選擇“放棄”，從而提高診斷的準(zhǔn)確性和可信賴性。
金融領(lǐng)域：在金融領(lǐng)域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定評估結(jié)果時選擇“放棄”，從而提高風(fēng)險評估和投資決策的準(zhǔn)確性和可信賴性。
工程領(lǐng)域：在工程領(lǐng)域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高設(shè)計和優(yōu)化方案的準(zhǔn)確性和可信賴性。
公共管理領(lǐng)域：在公共管理領(lǐng)域，AI系統(tǒng)可以通過‘I don’t know’函數(shù)，在無法確定政策建議時選擇“放棄”，從而提高政策制定和公共服務(wù)優(yōu)化的準(zhǔn)確性和可信賴性。

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖6:AGI的失敗句——給定AGI處理基本算術(shù)的代碼部分。給定一個AGI（總是回答）通過一致的推理來模擬人類智能，在上述問題上會失敗。請注意，只需要訪問處理基本算術(shù)的AGI代碼（CodeAGI）。維度d=dkdk-1。d1，其中dk-1。d1在0和9之間，dk在1和9之間。例如，d=2024。上述句子的長度（字符數(shù)）以長度（CodeAGI）+3300+k為界。代碼generateA使用CodeAGI以特定方式創(chuàng)建線性程序中矩陣A的近似值，詳見補充材料。

SCI層次結(jié)構(gòu)、優(yōu)化與哥德爾不完備定理的聯(lián)系

一致性推理悖論（CRP）的提出不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還展示了其在科學(xué)理論中的深遠(yuǎn)影響。論文通過SCI層次結(jié)構(gòu)、優(yōu)化問題和哥德爾不完備定理的聯(lián)系，深入探討CRP的理論基礎(chǔ)和應(yīng)用。

SCI（Solvability Complexity Index）層次結(jié)構(gòu)是一個用于分類計算問題復(fù)雜性的理論框架。它推廣了經(jīng)典的算術(shù)層次結(jié)構(gòu)，包含了遞歸理論和計算復(fù)雜性理論的核心概念。SCI層次結(jié)構(gòu)的主要目的是通過引入新的分類方法，來描述和分析計算問題的可解性和復(fù)雜性。

在SCI層次結(jié)構(gòu)中，問題被分類為不同的層次，每個層次代表不同的計算復(fù)雜性。例如，Σ1類問題是那些可以通過一個極限計算的函數(shù)，而?1類問題則是可以通過計算函數(shù)直接解決的問題。SCI層次結(jié)構(gòu)不僅包含了這些經(jīng)典的分類，還引入了新的分類方法，如相變理論和隨機算法，以更全面地描述計算問題的復(fù)雜性。

SCI層次結(jié)構(gòu)的一個重要特點是它能夠處理連續(xù)優(yōu)化問題和計算光譜理論中的復(fù)雜性。這使得SCI層次結(jié)構(gòu)成為研究一致性推理悖論和構(gòu)建可信賴AI系統(tǒng)的重要工具。

一致性推理悖論在優(yōu)化問題中具有廣泛的應(yīng)用。優(yōu)化問題是科學(xué)和工程中的核心問題，涉及到在給定約束條件下尋找最優(yōu)解。常見的優(yōu)化問題包括線性規(guī)劃、基追蹤和LASSO等。這些問題在醫(yī)療、金融、工程和公共管理等領(lǐng)域中具有重要應(yīng)用。

CRP在優(yōu)化問題中的應(yīng)用主要體現(xiàn)在以下幾個方面：

線性規(guī)劃：線性規(guī)劃是優(yōu)化問題中的一種基本形式，涉及到在給定約束條件下尋找線性目標(biāo)函數(shù)的最優(yōu)解。CRP揭示了AI在處理等價線性規(guī)劃問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同線性規(guī)劃問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。
基追蹤：基追蹤是一種用于信號處理和數(shù)據(jù)壓縮的優(yōu)化技術(shù)，涉及到在給定約束條件下尋找稀疏解。CRP揭示了AI在處理等價基追蹤問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同基追蹤問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。
LASSO：LASSO是一種用于回歸分析的優(yōu)化技術(shù)，涉及到在給定約束條件下尋找最優(yōu)回歸系數(shù)。CRP揭示了AI在處理等價LASSO問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同LASSO問題時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

哥德爾不完備定理是數(shù)學(xué)和邏輯領(lǐng)域中的一個重要理論，揭示了在任何一致且足夠復(fù)雜的形式系統(tǒng)中，存在一些命題既無法被證明為真，也無法被證明為假。哥德爾不完備定理對計算理論和AI研究具有深遠(yuǎn)影響。

CRP與哥德爾不完備定理有著密切的聯(lián)系。具體來說，CRP IV提供了一個類似于哥德爾第一不完備定理的聲明，專門針對優(yōu)化問題。這意味著，在某些優(yōu)化問題中，AI可能無法提供邏輯上正確的解釋，即使其答案是正確的。這一發(fā)現(xiàn)揭示了AI在處理復(fù)雜問題時的內(nèi)在局限性，并強調(diào)了構(gòu)建可信賴AI系統(tǒng)的挑戰(zhàn)。

此外，CRP還展示了在特定問題集合上存在不會產(chǎn)生幻覺且總是正確的AI，但如果AI試圖通過一致性推理模仿人類智能，則不可避免地會出現(xiàn)錯誤。這與哥德爾不完備定理的核心思想相呼應(yīng)，即在任何一致且足夠復(fù)雜的系統(tǒng)中，存在無法解決的問題。

經(jīng)典遞歸理論是計算理論的基礎(chǔ)，研究可計算函數(shù)和不可計算問題。圖靈的停機問題是遞歸理論中的一個經(jīng)典問題，揭示了某些問題無法通過算法解決。具體來說，停機問題指出，無法設(shè)計一個算法來確定任意計算機程序是否會停止運行。

CRP展示了AI在處理可計算問題時的局限性，強調(diào)了經(jīng)典遞歸理論在理解AI系統(tǒng)行為中的重要性。具體來說，CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這意味著，AI在模仿人類智能時，必須面對這種內(nèi)在的局限性。

此外，CRP還展示了在特定問題集合上存在不會產(chǎn)生幻覺且總是正確的AI，但如果AI試圖通過一致性推理模仿人類智能，則不可避免地會出現(xiàn)錯誤。這與經(jīng)典遞歸理論的核心思想相呼應(yīng)，即在任何一致且足夠復(fù)雜的系統(tǒng)中，存在無法解決的問題。

人工智能的一致性推理悖論-AI.x社區(qū) 圖片

圖7:CRP與Claude的實踐。圖3和圖4中聊天機器人Claude的實驗（略有修改）。

ChatGPT和Gemini的成功和失敗是一樣的。

CRP對AI發(fā)展的啟示

一致性推理悖論（CRP）不僅揭示了AI在模仿人類智能時的內(nèi)在挑戰(zhàn)，還為未來AI的發(fā)展提供了重要的啟示。論文通過分析一致性推理的局限性、‘I don’t know’功能的重要性、可信賴AI的設(shè)計原則、多領(lǐng)域應(yīng)用的潛力、隨機算法的局限性以及經(jīng)典遞歸理論的應(yīng)用，探討CRP對AI發(fā)展的深遠(yuǎn)影響。

一致性推理的局限性

一致性推理是人類智能的核心能力之一，指的是處理等價但表述不同的任務(wù)的能力。然而，CRP揭示了AI在模仿這種能力時的內(nèi)在局限性。具體來說，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。這些錯誤不僅僅是偶然的，而是在某些問題上會無限次發(fā)生。

這種現(xiàn)象的根本原因在于，AI在處理等價問題時，無法始終提供一致且正確的答案。即使AI具備強大的計算能力和存儲能力，它在面對等價問題時，仍然會出現(xiàn)錯誤。這一發(fā)現(xiàn)促使我們重新思考AI系統(tǒng)在模仿人類智能時的局限性，并探索如何設(shè)計更可信賴的AI系統(tǒng)。

‘I don’t know’功能的重要性

為了構(gòu)建可信賴的AI系統(tǒng)，‘I don’t know’功能至關(guān)重要。具體來說，‘I don’t know’功能使AI系統(tǒng)能夠在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。

‘I don’t know’功能的重要性體現(xiàn)在以下幾個方面：

避免錯誤答案：通過引入‘I don’t know’功能，AI系統(tǒng)可以在無法確定答案時選擇“放棄”，從而避免生成錯誤答案。這不僅提高了AI系統(tǒng)的可信賴性，也增強了用戶對AI系統(tǒng)的信任。
提高系統(tǒng)透明度：‘I don’t know’功能使AI系統(tǒng)能夠承認(rèn)自身的局限性，并在必要時選擇“放棄”。這提高了系統(tǒng)的透明度，使用戶能夠更好地理解AI系統(tǒng)的行為和決策過程。
增強系統(tǒng)魯棒性：通過引入‘I don’t know’功能，AI系統(tǒng)可以在面對復(fù)雜和不確定的問題時，選擇“放棄”而不是提供錯誤答案。這增強了系統(tǒng)的魯棒性，使其能夠在各種環(huán)境中穩(wěn)定運行。
促進人機協(xié)作：‘I don’t know’功能使AI系統(tǒng)能夠在無法確定答案時，尋求人類的幫助。這促進了人機協(xié)作，使AI系統(tǒng)能夠更好地與人類合作，共同解決復(fù)雜問題。

可信賴AI的設(shè)計原則

在構(gòu)建可信賴AI系統(tǒng)時，需要遵循以下設(shè)計原則。

CRP指出，任何試圖進行一致性推理的AI都會不可避免地出現(xiàn)錯誤。因此，構(gòu)建可信賴AI的第一個原則是承認(rèn)一致性推理的局限性，并在設(shè)計系統(tǒng)時考慮到這一點。

為了避免生成錯誤答案，AI系統(tǒng)必須具備在無法確定答案時說“I don’t know”的能力。這需要AI隱式計算一個新的概念，即‘I don’t know’函數(shù)。通過引入這一功能，AI可以在無法確定答案時選擇“放棄”，從而提高其可信賴性。

可信賴的AI系統(tǒng)不僅需要提供正確答案，還需要能夠解釋其答案的邏輯過程。這意味著，AI系統(tǒng)在提供答案時，必須具備一定的透明度和可解釋性，使用戶能夠理解其決策過程。

可信賴的AI系統(tǒng)必須在各種環(huán)境中穩(wěn)定運行，并能夠應(yīng)對復(fù)雜和不確定的問題。這需要系統(tǒng)具備一定的魯棒性，能夠在面對挑戰(zhàn)時保持穩(wěn)定。

為了提高系統(tǒng)的可信賴性，可以將問題集合分為多個子域，并為每個子域建立特定的‘I don’t know’函數(shù)。例如，通過提示將問題集合分為多個子域，每個子域建立特定的‘I don’t know’函數(shù)。這種方法可以提高系統(tǒng)在特定領(lǐng)域內(nèi)的可信賴性。

雖然隨機算法在檢測AI錯誤方面的效果有限，但通過結(jié)合隨機算法與確定性算法，可以提高系統(tǒng)的可信賴性。例如，可以設(shè)計一個隨機算法來檢測AI的錯誤，并結(jié)合確定性算法來驗證其結(jié)果，從而提高系統(tǒng)的準(zhǔn)確性和可信賴性。

可信賴的AI系統(tǒng)需要具備持續(xù)學(xué)習(xí)和優(yōu)化的能力。通過不斷學(xué)習(xí)和優(yōu)化，系統(tǒng)可以逐步提高其決策質(zhì)量和可信賴性。例如，可以通過引入機器學(xué)習(xí)和深度學(xué)習(xí)算法，使系統(tǒng)能夠在不斷積累數(shù)據(jù)的過程中，逐步提高其決策能力和準(zhǔn)確性。

多領(lǐng)域應(yīng)用的潛力

CRP不僅適用于AGI，還在科學(xué)和社會的廣泛領(lǐng)域中具有重要應(yīng)用。以下是CRP在不同領(lǐng)域中的應(yīng)用示例：

在醫(yī)療領(lǐng)域，AI系統(tǒng)被廣泛應(yīng)用于診斷和治療決策。CRP揭示了AI在處理等價醫(yī)療問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同病癥時，可能會產(chǎn)生不同的診斷結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定診斷時選擇“放棄”，從而提高其可信賴性。

在金融領(lǐng)域，AI系統(tǒng)被用于風(fēng)險評估和投資決策。CRP揭示了AI在處理等價金融問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同投資策略時，可能會產(chǎn)生不同的評估結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定評估結(jié)果時選擇“放棄”，從而提高其可信賴性。

在工程領(lǐng)域，AI系統(tǒng)被用于設(shè)計和優(yōu)化工程方案。CRP揭示了AI在處理等價工程問題時的局限性。例如，AI系統(tǒng)在處理不同表述的相同設(shè)計方案時，可能會產(chǎn)生不同的優(yōu)化結(jié)果。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定優(yōu)化結(jié)果時選擇“放棄”，從而提高其可信賴性。

在公共管理領(lǐng)域，AI系統(tǒng)被用于政策制定和公共服務(wù)優(yōu)化。CRP揭示了AI在處理等價公共管理問題時的挑戰(zhàn)。例如，AI系統(tǒng)在處理不同表述的相同政策方案時，可能會產(chǎn)生不同的建議。通過引入‘I don’t know’函數(shù)，AI系統(tǒng)可以在無法確定建議時選擇“放棄”，從而提高其可信賴性。

隨機算法的局限性

這一發(fā)現(xiàn)對現(xiàn)代AI系統(tǒng)，尤其是依賴隨機算法的聊天機器人具有重要意義。它表明，不能完全依賴隨機算法來保證AI系統(tǒng)的正確性，而需要引入其他機制，如‘I don’t know’功能，以提高系統(tǒng)的可信賴性。

經(jīng)典遞歸理論的應(yīng)用

CRP對AI發(fā)展的啟示包括承認(rèn)一致性推理的局限性、引入‘I don’t know’功能、遵循可信賴AI的設(shè)計原則、探索多領(lǐng)域應(yīng)用的潛力、認(rèn)識隨機算法的局限性以及應(yīng)用經(jīng)典遞歸理論。通過深入理解和應(yīng)用CRP，我們可以在未來的AI研究和應(yīng)用中，設(shè)計出更智能、更可信賴的系統(tǒng)。（END）

參考資料：https://arxiv.org/pdf/2408.02357

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS

標(biāo)簽

人工智能

CRP

贊

回復(fù)