2月1日，面壁智能發(fā)布了旗艦端側(cè)模型 MiniCPM，它以小博大的性能超越了 Mistral-7B，并在 MT-Bench 等榜單上表現(xiàn)出色。

MiniCPM 是一款能說會(huì)看、具備編程能力、擁有多模態(tài)能力的端側(cè)模型。它不僅在性能上優(yōu)秀，而且具有極低的成本，支持 CPU 推理。MiniCPM 開源，并已在主流移動(dòng)操作系統(tǒng)上進(jìn)行了適配和測試。

1、端側(cè)成本極致降低：Mistral的1/100，GPT-4的1/360

在終端硬件廠商加速產(chǎn)品AI化的趨勢下，面壁智能認(rèn)為，成本是大模型的隱形競爭力，“比起size，我們更在意成本”。

以搭載了驍龍855芯片的OPPO手機(jī)為例，MiniCPM每秒能處理7.5 Tokens，運(yùn)行5年后報(bào)廢，成本為600元，由此可得170萬Tokens的推理成本僅1元——MiniCPM的推理成本僅Mistral的1/100，GPT-4的1/360。

據(jù)介紹，目前MiniCPM-2B在CPU（比GPU計(jì)算吞吐量低）上就能跑起來，相較于用GPU才能運(yùn)行的大模型，能夠降低推理成本。與此同時(shí)，即便將大小壓縮75%，MiniCPM的性能也能做到基本無損耗。

在性能上，MiniCPM-2B的中文知識(shí)能力、代碼能力、數(shù)學(xué)能力已經(jīng)超過Mistral-7B，而英文知識(shí)能力、邏輯能力和常識(shí)問答能力還存在一定差距。而在測試模型接近人的程度的評(píng)測榜單MT-Bench上，MiniCPM-2B的表現(xiàn)超過了Llama 2-70B-Chat。

圖片

2、手機(jī)芯片也可運(yùn)行

面壁智能團(tuán)隊(duì)目前驗(yàn)證了MiniCPM使用手機(jī)芯片進(jìn)行推理的可行性。據(jù)悉，進(jìn)行Int4量化后，MiniCPM只占2GB空間，具備在端側(cè)手機(jī)進(jìn)行模型部署的條件。

其中，對于Android、Harmony系統(tǒng)，使用開源框架MLC-LLM進(jìn)行模型適配，支持文本模型、多模態(tài)模型；對于iOS，使用開源框架LLMFarm進(jìn)行模型適配，僅支持文本模型。

MiniCPM讓手機(jī)上具備了無需聯(lián)網(wǎng)、無需搜索也能識(shí)圖解答的能力。

圖片

圖片

“此前尚未有工作嘗試在手機(jī)上部署多模態(tài)大模型。我們此次在MLC-LLM上驗(yàn)證了手機(jī)部署MiniCPM-V的可行性，能夠正常輸入輸出，但也存在圖片處理時(shí)間較長的問題，需要進(jìn)一步優(yōu)化。”

下圖是測試的手機(jī)型號(hào)、系統(tǒng)和處理器信息。

圖片

目前代碼已開源：https://github.com/OpenBMB/MiniCPM

3、多模態(tài)模型開源

此外，據(jù)介紹面壁還開源了一個(gè)多模態(tài)模型 OmniLMM，展現(xiàn)出了實(shí)時(shí)動(dòng)作識(shí)別和精準(zhǔn)理解等能力。

圖片

在發(fā)布會(huì)上，面壁智能演示了 Gemini 發(fā)布時(shí)同款的石頭剪刀布 demo。用英文向 AI 提問：我正在玩什么游戲？大模型會(huì)回答：石頭剪子布。

4、團(tuán)隊(duì)平均年齡28歲80%清北

據(jù)了解，面壁智能源于清華 NLP 實(shí)驗(yàn)室，是在國內(nèi)較早開展大模型研究的團(tuán)隊(duì)之一，其在 2018 年發(fā)布了全球首個(gè)基于知識(shí)指導(dǎo)的預(yù)訓(xùn)練模型 ERNIE。2022 年 8 月開始公司化運(yùn)作的面壁智能，去年經(jīng)歷了兩輪融資，其推出的應(yīng)用「面壁露卡」也拿到了網(wǎng)信辦第二批大模型備案。

目前，面壁智能已經(jīng)組建起 100 余人的科研團(tuán)隊(duì)，其中 80% 人員來自清北，平均年齡 28 歲。

面壁智能正在構(gòu)建“大模型 + Agent”的雙引擎戰(zhàn)略，希望能構(gòu)建出更小規(guī)模、更快速度、更低成本的解決方案。

此外，面壁智能聯(lián)合創(chuàng)始人還做了一個(gè)劇透：“我們會(huì)在春節(jié)之后不斷發(fā)布 MiniCPM 的新版本，性能還會(huì)進(jìn)一步提升。我們要給大家春節(jié)的休息時(shí)間。”