近日，AI大佬，現(xiàn)任Zoom CTO的黃學(xué)東，在自家的官網(wǎng)上發(fā)表了一篇博客。

其中隆重介紹了自己加入Zoom六個月之后創(chuàng)新的成果——Zoom AI Companion，以及驅(qū)動Zoom AI Companion的Zoom聯(lián)邦（federated approach）AI。

在Zoom之前，黃學(xué)東曾擔(dān)任微軟Azure AI首席技術(shù)官，他不僅是微軟首位全球華人技術(shù)院士，也是微軟最高級別的華人科學(xué)家。

黃學(xué)東在微軟任職了超過30年，在他的牽線搭橋下，微軟于1998年在北京建起第一個亞洲研究院。

在2017年和2020年，黃學(xué)東分別當(dāng)選ACM和IEEE會士，并于2023年同時當(dāng)選美國國家工程院院士和美國藝術(shù)與科學(xué)院院士。

黃學(xué)東表示，人工智能從概念化到實現(xiàn)的轉(zhuǎn)型之旅，就像一條曲折的道路，充滿了不斷的破壞、適應(yīng)和創(chuàng)新。

「在過去的 30 年里，我一直走在這條道路上，從語音識別、自然語言理解，到計算機視覺。在我加入 Zoom 的過去六個月里，創(chuàng)新的步伐尤其令人震驚。」

Zoom聯(lián)邦A(yù)I，用合適的AI跑合適的任務(wù)

Zoom希望使用AI來改善人類協(xié)作方式，不斷提高生產(chǎn)力。

多年來，Zoom一直在為客戶提供語音識別、計算機視覺、機器翻譯和大型語言模型（LLM）等AI服務(wù)，以增強自家軟件的競爭力。

他們的最新產(chǎn)品Zoom AI Companion，旨在幫助用戶提高工作效率、促進(jìn)無縫協(xié)作并獲得更深入的交流和見解。

Zoom的聯(lián)邦A(yù)I，能夠使用戶在之前付費服務(wù)的基礎(chǔ)上，不用額外花錢就能享受AI Companion的功能。

這樣能夠大大提升用戶的體驗，還能快速提高新技術(shù)的在用戶中的參與率。

但是對于Zoom這樣擁有大量用戶，高強度使用AI功能的軟件，LLM推理的額外成本怎么負(fù)擔(dān)呢？

要知道，GitHub的Copilot被傳說，每月收費10刀，依然每個用戶每月還要補貼20刀。

Zoom目前使用的LLM包括自有模型和第三方的模型（如OpenAI GPT-3.5和GPT-4，以及Anthropic Claude 2）。

Zoom聯(lián)邦A(yù)I，可以整合來自合作伙伴的最新的LLM技術(shù)（例如OpenAI最新發(fā)布的GPT-4 Turbo），進(jìn)一步改善Zoom客戶的端到端體驗。

Zoom采用了具有更好成本效益的策略：

首先使用合適的低成本LLM來完成任務(wù)，然后通過Z-Scorer評估初始任務(wù)完成質(zhì)量。

在有需要的情況下，Zoom會使用更高級的LLM， 對初始LLM所獲得的成果進(jìn)行改進(jìn)。

——這類似于一個有凝聚力的團隊協(xié)同工作，能夠比一個人更高效地生產(chǎn)更高質(zhì)量的產(chǎn)品。

根據(jù)Zoom的內(nèi)部測試，與OpenAI GPT-3.5 Turbo或其他幾種最先進(jìn)的LLM相比，Zoom采用聯(lián)邦A(yù)I提高了AI Companion的輸出質(zhì)量，還有效地控制了成本。

黃學(xué)東表示，他們衡量性能的標(biāo)準(zhǔn)是更低的成本、更快的響應(yīng)時間和更高質(zhì)量的輸出。

上圖是Zoom AI Companion與GPT-4在英文會議查詢?nèi)蝿?wù)上的性能和成本對比。

圖中比較的兩個關(guān)鍵指標(biāo)為成本和輸出質(zhì)量。

Zoom AI Companion只用了不到GPT-4 6%的成本，就能達(dá)到幾乎相當(dāng)?shù)妮敵鲑|(zhì)量。

與微軟Copilot使用的GPT-4-32k模型相比，Zoom AI Companion的會議提問功能，可降低成本，加快響應(yīng)速度，同時保持相當(dāng)?shù)妮敵鲑|(zhì)量。

上圖是Zoom AI Companion與GPT-4在多語言會議摘要任務(wù)上的對比。

此外，AI Companion的多語言性能，進(jìn)一步證明了Zoom聯(lián)邦A(yù)I的強大功能，支持除英語之外的32種語言。

由于大多數(shù)LLM主要是使用英語數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，所以Zoom增加了翻譯模型來擴展多語言能力。

上圖對比了Zoom AI Companion與Microsoft Copilot在多語言會議摘要任務(wù)中的表現(xiàn)，同樣使用GPT-4作為Microsoft Copilot的代理來進(jìn)行對比。

在Zoom AI Companion的多語言會議摘要中，使用Zoom的翻譯模型將非英語文本翻譯成英語，這樣能同時考慮翻譯數(shù)據(jù)與原始數(shù)據(jù)。

從圖中可以看出，Zoom AI Companion以不到6%的成本完成了質(zhì)量接近于GPT-4-32k的輸出（97%）。

Zoom相信，人工智能的好處應(yīng)該讓盡可能多的人廣泛使用，而Zoom的聯(lián)邦A(yù)I能夠無縫結(jié)合不同AI系統(tǒng)的優(yōu)勢，提供高性能結(jié)果，在實現(xiàn)這一愿景方面發(fā)揮著重要作用。

Zoom AI Companion，最智能的會議助手

而Zoom現(xiàn)在幾乎所有AI功能的入口，都集中在了他們9月底推出的Zoom AI Companion上。

作為Zoom提供的「充值服務(wù)」，它利用Zoom提供的AI能力，能幫助你在中途加入會議之后，自動總結(jié)錯過的會議內(nèi)容。

然后輪到你發(fā)言時，結(jié)合你的觀點和之前會議的內(nèi)容，生成發(fā)言稿，真的做到了「替代用戶開會」。

在半程加入會議之后，AI可以告訴你會議的重點。

還能幫你實時轉(zhuǎn)錄翻譯其他參會者發(fā)言，一鍵獲取會議討論文本。

AI還能幫你把碎片化的信息歸納出來，最后為團隊生成會議總結(jié)和記錄。

還能把Zoom平臺上獲得的客戶短信息進(jìn)行總結(jié)，生成具體的執(zhí)行方案。

而且對于參加不了的會議，還可以在日程表上直接安排AI智能錄制，之后分段分重點回看。

而這整個AI伴侶背后，都凝結(jié)了Zoom和黃學(xué)東聯(lián)邦A(yù)I的技術(shù)思路，用合適的AI資源去處理合適的請求。

而且Zoom承諾，不會使用用戶的任何音頻、視頻、聊天、屏幕共享、附件或客戶生成的內(nèi)容（例如投票結(jié)果、白板）等其他數(shù)據(jù)來訓(xùn)練Zoom或第三方的AI。

這么多好用的功能，這么負(fù)責(zé)的AI，需要花多少錢呢？

150刀到200刀就能用一年，企業(yè)用戶還有專門的定制版本。