微軟推出的Phi-3.5-vision，把人工智能帶到了成長的新階段。這款AI模型擅長處理文本和圖像，為圖像識別和自動文字識別等任務帶來創新的解決思路。本文介紹Phi-3.5-vision的技術亮點及其在實際場景中的應用。

一、Phi-3.5-vision核心特性和功能

Phi-3.5-vision處理文本和圖像信息的能力全面且高效，能夠勝任多樣化的任務，成為眾多應用場景中的得力助手，是行業中的佼佼者。

核心特性

• 支持長達128,000個token的上下文理解，讓模型在處理長文本時游刃有余。
• 即便在資源受限的環境下，也能保持出色的性能。
• 能夠同時處理文本和圖像，實現多模態交互。

主要功能

1. 視覺處理能力：

通用圖像識別與分析

多圖像比較和關系檢測

視頻片段摘要（高光）和關鍵幀提取

2. 文本與數據提取：

• 高級光學字符識別（OCR）
• 圖表和表格解釋及數據提取
• 文檔布局分析和結構識別

3. 多模態集成：

• 文本到圖像的生成和操作
• 圖像字幕和描述生成
• 視覺問答和推理

二、優勢

Phi-3.5-vision相較于前代模型實現了重大進步和飛躍，它不僅提升了性能，拓寬了應用范圍，同時還保持了相對較小的模型尺寸。

創新之處包括：

• 增強的多模態處理
• 多幀處理能力的增強。特別適用于動畫、視頻和多攝像頭場景，能夠同時高效處理多個數據或圖像幀。
• 先進的視頻摘要技術

性能和效率：

• 在多項基準測試中，Phi-3.5-vision展現出與大型模型相媲美的性能。
• 在保持較小模型體積的同時，實現了能力與資源消耗之間的更佳平衡。

倫理與安全性：

• 改進的安全措施
• 強化了對負責任AI開發的承諾，注重技術的倫理應用。

多功能性與適應性：

• 在各個領域有更廣泛的應用范圍
• 對不同任務和數據類型的適應性改進

三、技術規格

Phi-3.5-vision的設計理念是追求高性能與高效率的完美結合，使其能夠在較低的計算成本下解決復雜問題。

架構細節：

• 包含42億參數，確保了模型的復雜性和處理能力。
• 四個主要組件：協同工作，發揮最大效能

圖像編碼器

連接器

投影器

Phi-3 Mini語言模型

訓練規格：

• 數據集：5000億token（視覺和文本）
• 訓練時長：6天
• 硬件：256個A100-80G GPU

訓練技術：

• 監督式微調技術
• 從人類反饋中學習的強化學習機制

四、環境設置

硬件要求

Phi-3.5-vision經過優化，效率更高，但要發揮其最大效能，需要滿足一定的硬件條件。該模型已在NVIDIA A100、A6000和H100 GPU上進行了充分測試，表現出色。請確保系統具備足夠的視頻內存（VRAM），以支持這一擁有42億參數的模型順暢運行。

依賴項安裝

要在本地部署Phi-3.5-vision，需要設置符合特定版本要求的Python環境。按照以下步驟操作：

1. 使用喜歡的方法（venv、conda等）創建一個新的虛擬環境。
2. 創建一個名為requirements.txt的文件，內容如下：

flash_attn==2.5.8
numpy==1.24.4
Pillow==10.3.0
Requests==2.31.0
torch==2.3.0
torchvision==0.18.0
transformers==4.43.0
accelerate==0.30.0

3. 使用pip安裝所需的包：

pip install -r requirements.txt

注意：確保torch安裝了CUDA支持以進行GPU加速。如需特定于您CUDA版本的安裝指令，建議訪問PyTorch官方網站獲取。

本文轉載自??AI科技論談??，作者： AI科技論談 ????