1 月 24 日消息，Hugging Face 平臺(tái)昨日（1 月 23 日）發(fā)布博文，宣布推出 SmolVLM-256M-Instruct 和 SmolVLM-500M-Instruct 兩款輕量級(jí) AI 模型，在 AI 算力有限的設(shè)備上，最大限度發(fā)揮其算力性能。

IT之家曾于 2024 年 11 月報(bào)道，Hugging Face 平臺(tái)發(fā)布 SmolVLM AI 視覺(jué)語(yǔ)言模型（VLM），僅有 20 億參數(shù)，用于設(shè)備端推理，憑借其極低的內(nèi)存占用在同類模型中脫穎而出。

本次推出的 SmolVLM-256M-Instruct 僅有 2.56 億參數(shù)，是有史以來(lái)發(fā)布的最小視覺(jué)語(yǔ)言模型，可以在內(nèi)存低于 1GB 的 PC 上運(yùn)行，提供卓越的性能輸出。

SmolVLM-500M-Instruct 僅有 5 億參數(shù)，主要針對(duì)硬件資源限制，幫助開(kāi)發(fā)者迎接大規(guī)模數(shù)據(jù)分析挑戰(zhàn)，實(shí)現(xiàn) AI 處理效率和可訪問(wèn)性的突破。

SmolVLM 模型具備先進(jìn)的多模態(tài)能力，可以執(zhí)行圖像描述、短視頻分析以及回答關(guān)于 PDF 或科學(xué)圖表的問(wèn)題等任務(wù)。正如 Hugging Face 所解釋的：“SmolVLM 構(gòu)建可搜索數(shù)據(jù)庫(kù)的速度更快、成本更低，其速度可媲美規(guī)模 10 倍于其自身的模型”。

模型的開(kāi)發(fā)依賴于兩個(gè)專有數(shù)據(jù)集：The Cauldron 和 Docmatix。The Cauldron 是一個(gè)包含 50 個(gè)高質(zhì)量圖像和文本數(shù)據(jù)集的精選集合，側(cè)重于多模態(tài)學(xué)習(xí)，而 Docmatix 則專為文檔理解而定制，將掃描文件與詳細(xì)的標(biāo)題配對(duì)以增強(qiáng)理解。

這兩個(gè)模型采用更小的視覺(jué)編碼器 SigLIP base patch-16/512，而不是 SmolVLM 2B 中使用的更大的 SigLIP 400M SO，通過(guò)優(yōu)化圖像標(biāo)記的處理方式，減少了冗余并提高了模型處理復(fù)雜數(shù)據(jù)的能力。

SmolVLM 模型能夠以每個(gè)標(biāo)記 4096 像素的速率對(duì)圖像進(jìn)行編碼，這比早期版本中每標(biāo)記 1820 像素有了顯著改進(jìn)。