OpenAI公司日前發布了其文本生成模型GPT-4，引起了人們的廣泛關注。但該公司表示，開發人員還不能在上面構建任何產品或服務，因為API仍在等待列表中。

這意味著只有少數用戶有機會使用OpenAI公司這個最新的大型語言模型。人工智能初創公司Mieeind ehf就是其中之一，該公司是僅有的六家被選中對GPT-4進行測試的公司之一。

該公司的一個由12人組成的團隊希望通過冰島語訓練GPT-4，他們在去年5月前往美國灣區測試GPT-4之后，成為硅谷這款最熱門產品的早期測試者之一。Mieeind公司的首席執行官加入了一個冰島政府代表團，探索如何利用科技來幫助保護該國的語言。

Mieeind公司的首席執行官與OpenAI公司的Sam Altman對GPT-4如何采用和開發像冰島語這樣的低資源語言進行了探討。這些語言對大型模型語言的全球化應用構成了挑戰，這是因為用于訓練模型所收集的數據要少得多。

Mieeind公司的團隊為此提出了他們對GPT-4如何改進的看法，人工智能用來保護冰島語的萬年歷，以及GPT-4如何為貓創造出一個非常有趣的新術語。

令人興奮的發展

Mieeind公司的這個團隊的任務是，通過向GPT-4輸入冰島語強化學習數據(初始訓練之后的階段)，了解是否能提高GPT-4在語言應用和處理方面的表現。

Mieeind公司的機器學習團隊成員之一Pétur Orri Ragnarsson表示，其結果在GPT-3.5上有了明顯的改進，但當涉及到冰島語的使用時，這個模型仍然不完美。他說，“它用冰島語生成的文本往往是可以理解的，但仍然有一些語法錯誤。”

Ragnarsson表示，他可以看到GPT-3.5在一般的推理方面有巨大的改進。

他說：“最令人興奮的是，可以要求它做一些事情，并解釋為什么它會給出這個結果。GPT-3.5可以做到，GPT-4更好，因為這讓人們感覺它的解釋更合理或更可信。人們通常嘗試的一件事是讓GPT-4做一些事情，并解釋過程中的每一步——它做得非常好。”

“可解釋性”是開發生成式人工智能的人一直試圖解決的一大問題，因為大型語言模型的功能方式意味著輸出是在“黑箱”中生成的。這意味著即使是構建GPT-4的開發人員也不知道它是如何回答問題的，這意味著很難讓這些模型展示它們的工作原理。

如果生成式人工智能要在醫療和法律等行業得到廣泛應用，那么在這些領域工作的人需要能夠信任模型的輸出。

高階思維

讓Ragnarsson印象深刻的GPT-4的另一個特點是，它能夠產生比以前的模型更敏銳的反應。他舉了一個例子，用它來對一段文字進行情緒分析，其評價從中性到積極，評分從1到5分。

Ragnarsson說：“我輸入了一段我認為相當中性的一句話，也就是一位客戶向客服詢問一些事情。”他驚訝地發現，GPT-4對這句話的評價是略微積極。

他說，“我問，‘請解釋一下。’得到的答案非常令人驚訝。它說，‘雖然這句話本身是中立的，但正在考慮的行動將會改善他們的生活，所以從整體上看，這一句話是略微積極的。’”

他認為，這表明GPT-4已經學會了超越文本的“表面含義”。

Mieeind公司的首席運營官Linda Heimisdottir說，GPT-4的這些能力尤其令人印象深刻，因為據她所知，這個模型并沒有專門訓練過情感分析。

她說：“看到這樣一個模型做了研究人員多年來一直在做的事情，而且它沒有專門受過這方面的訓練，這令人驚嘆。看到它的成果和人們的想法真的很令人興奮，這讓人們覺得GPT-4有著巨大的應用潛力。”

勤奮的貓

GPT-4如何采用冰島語的一個例子來自于該語言使用的復合詞，復合詞是將不同的概念組合成一個詞。

Heimisdottir表示，她讓GPT-4講一個關于貓的故事，GPT-4給出了一個冰島語單詞，“kattafr?eilega”，這是GPT-4發明的一個合成詞，其大致的意思為 “cat”(貓)。

她解釋說:“第一部分‘katta’是‘cat’的意思，但第二部分‘fr?eilega’的意思是‘與理論有關’。GPT-4描述這只貓是‘kattafr?eilega duglegur’。duglegur是一個冰島詞，意思是勤奮或努力工作。

當我讓GPT-4解釋它的意思時，它說：‘kattafr?eilega duglegur’意味著這只貓特別勤奮。換句話說，它擅長抓撓、調查、追逐昆蟲、尋找食物，對周圍環境充滿活力和興趣。它很擅長做一只貓。”

Mieeind認為，“對于大型語言模型來說，要在較少使用的語言中實現真正的高性能，需要在初始訓練中包含良好的多語言數據集，我們希望下一步可以進入預訓練。”

像這樣的研究對確保下一代人工智能不僅僅是進一步集中在英語世界的創新進步至關重要，因為硅谷的大型科技公司已經主導了大型語言模型領域。事實上，OpenAI公司選擇Mieeind公司作為GPT-4的早期測試廠商，至少表明該公司對生成式人工智能具有全球視野，即使這是出于商業動機。