當(dāng)今，人工智能飛速發(fā)展，計(jì)算機(jī)視覺作為關(guān)鍵分支，已廣泛滲透于生活各處。從人臉識(shí)別門禁、自動(dòng)駕駛到醫(yī)療影像診斷，它正悄然改變著我們的生活與工作模式。

然而，傳統(tǒng)計(jì)算機(jī)視覺任務(wù)處理難度大。開發(fā)者需具備深厚數(shù)學(xué)基礎(chǔ)、扎實(shí)算法知識(shí)與豐富編程經(jīng)驗(yàn)，不僅要花費(fèi)大量時(shí)間學(xué)習(xí)復(fù)雜理論，開發(fā)時(shí)還得投入諸多精力編寫、調(diào)試和優(yōu)化代碼。這對(duì)非專業(yè)人士而言，是難以跨越的障礙，使他們對(duì)該技術(shù)望而卻步。

吳恩達(dá)團(tuán)隊(duì)推出的VisionAgent開源項(xiàng)目，創(chuàng)新性地融合智能代理框架與先進(jìn)大語(yǔ)言模型，將復(fù)雜的視覺任務(wù)處理簡(jiǎn)單化。用戶通過自然語(yǔ)言描述需求，就能輕松實(shí)現(xiàn)各類視覺任務(wù)，為計(jì)算機(jī)視覺領(lǐng)域帶來新活力與無限可能。

一、項(xiàng)目概述

VisionAgent由吳恩達(dá)團(tuán)隊(duì)所在的Landing AI打造，旨在借助代理框架生成代碼解決視覺任務(wù)，打破技術(shù)壁壘，讓先進(jìn)視覺技術(shù)惠及更多人。

圖片

其設(shè)計(jì)理念獨(dú)特，構(gòu)建智能代理框架，無縫連接用戶自然語(yǔ)言指令與底層視覺算法及工具。用戶無需了解復(fù)雜原理與編程細(xì)節(jié)，用簡(jiǎn)潔自然語(yǔ)言描述任務(wù)，VisionAgent就能理解意圖并生成代碼，極大降低使用門檻，為視覺技術(shù)廣泛應(yīng)用開辟新途徑。

二、主要功能

1、自動(dòng)代碼生成

自動(dòng)代碼生成是VisionAgent的核心亮點(diǎn)。用戶輸入自然語(yǔ)言描述，如“Count the number of cars in this traffic video and mark their movement trajectories”，它能迅速理解并在短時(shí)間內(nèi)生成涵蓋視頻讀取、目標(biāo)檢測(cè)、軌跡標(biāo)記等環(huán)節(jié)的高效準(zhǔn)確代碼，實(shí)現(xiàn)用戶所需功能。

此功能大幅提升開發(fā)效率，讓開發(fā)者專注核心業(yè)務(wù)邏輯，也為無編程經(jīng)驗(yàn)者打開計(jì)算機(jī)視覺技術(shù)大門，通過簡(jiǎn)單描述即可驗(yàn)證想法，無需耗費(fèi)大量時(shí)間學(xué)習(xí)編程與編寫基礎(chǔ)代碼。

2、豐富工具調(diào)用

為滿足多樣場(chǎng)景需求，VisionAgent內(nèi)置豐富實(shí)用工具，覆蓋圖像加載、預(yù)處理、對(duì)象檢測(cè)、目標(biāo)跟蹤及可視化繪制等計(jì)算機(jī)視覺各方面。

以對(duì)象檢測(cè)為例，用戶可直接調(diào)用工具，輕松檢測(cè)圖像或視頻中的目標(biāo)物體，使用簡(jiǎn)單，傳入?yún)?shù)即可獲結(jié)果。同時(shí)，它支持工具擴(kuò)展與自定義，開發(fā)者能按需添加或優(yōu)化工具，以適應(yīng)復(fù)雜應(yīng)用場(chǎng)景，提供高度靈活性與擴(kuò)展性。

3、視頻處理支持

在視頻處理方面，VisionAgent能力強(qiáng)大。它能快速準(zhǔn)確提取視頻幀，利用內(nèi)置檢測(cè)與跟蹤算法，對(duì)目標(biāo)物體實(shí)時(shí)檢測(cè)與追蹤，無論是快速移動(dòng)的車輛還是復(fù)雜場(chǎng)景中的人物都能精準(zhǔn)識(shí)別。

此外，它還能根據(jù)用戶需求生成視頻內(nèi)容分析代碼，輸出帶詳細(xì)標(biāo)注的視頻結(jié)果。如在視頻監(jiān)控中，可標(biāo)注可疑人員軌跡、異常事件信息，為安防人員提供直觀準(zhǔn)確數(shù)據(jù)，提高監(jiān)控效率與準(zhǔn)確性，在多領(lǐng)域具有廣闊應(yīng)用前景。

三、技術(shù)原理

VisionAgent融合智能代理框架與先進(jìn)大語(yǔ)言模型能力，為用戶提供智能高效的視覺任務(wù)處理方案。

它支持Anthropic的Claude - 3.5和OpenAI的o1模型，用戶可通過設(shè)置API密鑰選擇或切換模型。用戶輸入指令后，它先進(jìn)行語(yǔ)義分析，將復(fù)雜任務(wù)分解為具體步驟，再調(diào)用相應(yīng)大語(yǔ)言模型生成代碼片段。

生成過程中，充分利用大語(yǔ)言模型在自然語(yǔ)言處理和知識(shí)理解方面的優(yōu)勢(shì)，結(jié)合視覺專業(yè)知識(shí)與算法，生成高質(zhì)量、可運(yùn)行代碼，并進(jìn)行優(yōu)化與驗(yàn)證，確保準(zhǔn)確性與高效性，模擬人類解決問題的思維模式，為用戶提供便捷高效體驗(yàn)。

四、應(yīng)用場(chǎng)景

1、安防監(jiān)控領(lǐng)域

在安防監(jiān)控領(lǐng)域，VisionAgent極具應(yīng)用價(jià)值。隨著城市發(fā)展和人口增長(zhǎng)，傳統(tǒng)人工監(jiān)控效率低且易疏漏。而VisionAgent可實(shí)現(xiàn)監(jiān)控視頻智能分析，如實(shí)時(shí)統(tǒng)計(jì)區(qū)域內(nèi)人員數(shù)量，超閾值報(bào)警；追蹤特定人員或車輛，記錄行動(dòng)軌跡輔助破案；識(shí)別異常行為，及時(shí)發(fā)現(xiàn)安全威脅。

2、工業(yè)檢測(cè)領(lǐng)域

工業(yè)生產(chǎn)中，產(chǎn)品質(zhì)量檢測(cè)至關(guān)重要。傳統(tǒng)人工檢測(cè)效率低、易受人為因素影響。VisionAgent可通過上傳產(chǎn)品圖片或視頻生成檢測(cè)代碼，檢測(cè)產(chǎn)品表面缺陷、零件安裝與尺寸等，快速準(zhǔn)確完成任務(wù)并生成報(bào)告，助力質(zhì)量控制，提升企業(yè)競(jìng)爭(zhēng)力。

3、醫(yī)療影像分析領(lǐng)域

醫(yī)療領(lǐng)域中，準(zhǔn)確快速的影像分析對(duì)疾病診斷治療關(guān)鍵。但醫(yī)療影像分析對(duì)醫(yī)生專業(yè)知識(shí)和經(jīng)驗(yàn)要求高。VisionAgent可輔助醫(yī)生分析X光片、CT、MRI等影像，輸入指令如“Detect whether there are tumors in this CT scan”，它能生成代碼處理分析影像，幫助醫(yī)生發(fā)現(xiàn)病變、提供診斷建議，減輕醫(yī)生負(fù)擔(dān)，提高診斷效率，助力疾病早發(fā)現(xiàn)早治療。

五、快速使用

1、安裝步驟

• 環(huán)境準(zhǔn)備：安裝前確保計(jì)算機(jī)已安裝Python 3.8及以上版本，以保證兼容性和性能。
• pip安裝：打開命令行終端，輸入`pip install vision-agent`，pip會(huì)自動(dòng)從PyPI下載并安裝相關(guān)依賴。
• API密鑰設(shè)置：安裝后，若使用Anthropic的Claude - 3.5模型，輸入`export ANTHROPIC_API_KEY="your-api-key"`；若使用OpenAI的o1模型，輸入`export OPENAI_API_KEY="your-api-key"`，注意保管密鑰。

2、自動(dòng)生成代碼示例

from vision_agent.agent import VisionAgentCoderV2
from vision_agent.models import AgentMessage
 
# 創(chuàng)建實(shí)例并設(shè)置獲取詳細(xì)日志
agent = VisionAgentCoderV2(verbose=True) 
code_context = agent.generate_code([
    AgentMessage(
        role="user",
        content="Count the number of people in this image",
        media=["people.png"]
    )
])
 
# 保存生成代碼與測(cè)試代碼
with open("generated_code.py", "w") as f: 
    f.write(code_context.code + "\n" + code_context.test)

3、直接調(diào)用工具示例

3.1 檢測(cè)圖像中的人并可視化結(jié)果

import vision_agent.tools as T
import matplotlib.pyplot as plt
 
# 加載圖像
image = T.load_image("people.png") 
# 檢測(cè)人
dets = T.countgd_object_detection("person", image) 
# 可視化邊界框
viz = T.overlay_bounding_boxes(image, dets) 
 
# 保存可視化結(jié)果
T.save_image(viz, "people_detected.png") 
# 顯示結(jié)果
plt.imshow(viz) 
plt.show()

3.2 處理視頻數(shù)據(jù)

import vision_agent.tools as T
 
# 提取視頻幀和時(shí)間戳
frames_and_ts = T.extract_frames_and_timestamps("people.mp4") 
# 提取所有幀
frames = [f["frame"] for f in frames_and_ts] 
 
# 跟蹤每一幀中的人
tracks = T.countgd_sam2_video_tracking("person", frames) 
# 疊加跟蹤結(jié)果并生成新視頻
viz = T.overlay_segmentation_masks(frames, tracks) 
T.save_video(viz, "people_detected.mp4")

結(jié)語(yǔ)

VisionAgent作為創(chuàng)新開源項(xiàng)目，憑借自動(dòng)代碼生成、豐富工具及廣泛應(yīng)用場(chǎng)景，為計(jì)算機(jī)視覺任務(wù)處理帶來便捷高效，打破傳統(tǒng)技術(shù)應(yīng)用門檻，推動(dòng)人工智能與計(jì)算機(jī)視覺技術(shù)發(fā)展。隨著技術(shù)進(jìn)步，VisionAgent有望在更多領(lǐng)域發(fā)揮重要作用。期待吳恩達(dá)團(tuán)隊(duì)和開源社區(qū)持續(xù)優(yōu)化拓展，為開發(fā)者和用戶帶來更多價(jià)值。

項(xiàng)目地址：???https://github.com/landing-ai/vision-agent??

本文轉(zhuǎn)載自 ??小兵的AI視界??，作者： AGI小兵