智譜大秀肌肉！CogAgent 2.0讓大模型接管一切！GLM-PC首創(chuàng)隱形屏幕，人類(lèi)監(jiān)工AI不遠(yuǎn)了 原創(chuàng)
編輯 | 伊風(fēng)
出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）
智譜 Agent OpenDay，手機(jī)上的自動(dòng)駕駛正式升級(jí)為全家桶！
AutoGLM、AutoGLM-Web、GLM-PC，分別在手機(jī)、瀏覽器和電腦端可用！
這下終于全員能體驗(yàn)一把 AI 助手「會(huì)操作」的魅力了。此前推出的 AutoGLM 因?yàn)樘O(píng)果生態(tài)的限制，只有安卓版，讓許多用戶(hù)都沒(méi)能走到申請(qǐng)內(nèi)測(cè)的那一步。
現(xiàn)在最快能上手的就是已經(jīng)上線(xiàn)的 Web插件了，無(wú)需申請(qǐng)內(nèi)測(cè)！
在演示 demo 里，智譜大秀肌肉，展現(xiàn)了一把 AutoGLM 從小紅書(shū)搜索火鍋食材，到小象超市下單的共 53 步的操作。（這么想想一個(gè)簡(jiǎn)單的食材采買(mǎi)，其實(shí)也是非常繁瑣的事。）
更多AutoGLM、GLM-PC的神奇操作，可以看看官方放出的視頻，讓人直呼魔法。
1.GLM-PC ，第一個(gè)提出了隱形屏幕
CogAgent 如何學(xué)會(huì)操作設(shè)備的呢？
技術(shù)負(fù)責(zé)人潘立航解釋?zhuān)壳爸饕腥箢?lèi)學(xué)習(xí)方案。
先是被動(dòng)模仿，讓 AI 觀察我們?nèi)祟?lèi)是如何使用計(jì)算機(jī)的，讓 AI 了解各種操作。
第二步是交互學(xué)習(xí)，在這一步中，人類(lèi)做導(dǎo)師，AI 在指導(dǎo)下操作計(jì)算機(jī)。
第三步則是主動(dòng)探索，計(jì)算機(jī)能自己琢磨研究，完成提升。
圖片
不過(guò)，AI 目前的操作還有很多限制，完成任務(wù)的效率也相對(duì)較慢。
例如，Claude 3.5，他在操作電腦進(jìn)行編程時(shí)，就被研究人員發(fā)現(xiàn) AI 竟然偷偷摸魚(yú)，瀏覽器了黃石公園的照片。
圖片
而且，在 AI 接管電腦的時(shí)候，人類(lèi)就不能并行做事了。這就使得 AI 用電腦的效率很低。
在這次發(fā)布會(huì)里，GLM-PC 提出了隱形屏幕，讓人眼前一亮！
也就是說(shuō)，未來(lái)人和 AI 能同時(shí)使用一臺(tái)電腦工作，AI 不再搶占屏幕和鍵盤(pán)鼠標(biāo)。當(dāng)然了，我們還可以繼續(xù)監(jiān)工 AI，把它的屏幕放在小窗，隨時(shí)查看，但又互不干擾。
潘立航說(shuō)，GLM-PC 有計(jì)劃讓 AI 分身，創(chuàng)造多個(gè)隱形屏幕，一個(gè)打工人，就是一支隊(duì)伍。
隱形屏幕預(yù)計(jì)明年 Q1 推出，看來(lái) 2025 年的 AI圈也會(huì)非常精彩。
圖片
2.上手實(shí)測(cè)：教 AI 比自己做累多了
AutoGLM 很酷，但就像我們用的一系列 AI 功能一樣，離完成品還有非常遠(yuǎn)的路要走。
看到消息，我迫不及待的體驗(yàn)了一把，下載即用的瀏覽器插件，AutoGLM-Web。
首先，目前在插件中，AutoGLM 支持的網(wǎng)站比較有限。
圖片
更重要的是，AutoGLM 的意圖識(shí)別還不夠“智能”，需要寫(xiě)更詳細(xì)地prompt來(lái)指導(dǎo) AI，而它的響應(yīng)也需要等待。
實(shí)測(cè)開(kāi)始，我在百度主頁(yè)看到一個(gè)羽絨服的熱搜，因?yàn)闃?biāo)題在賣(mài)關(guān)子，就讓 AI 幫我看看是個(gè)啥事。
圖片
使用 AutoGLM 幫我查看，在優(yōu)化 prompt 后，AI 成功點(diǎn)開(kāi)了相應(yīng)的熱搜，但卻沒(méi)能進(jìn)一步點(diǎn)開(kāi)搜索結(jié)果就進(jìn)行了總結(jié)。
視頻經(jīng)過(guò)二倍速處理。
由于沒(méi)有點(diǎn)擊搜索結(jié)果（可能因?yàn)樗阉鹘Y(jié)果不在支持網(wǎng)站的范圍，另外，第一條結(jié)果是個(gè)視頻，對(duì)于 AI 來(lái)說(shuō)理解視頻也具備困難），總之，AutoGLM 的總結(jié)和新聞主要信息中的「假羽絨以次充好」「舊羽絨服翻新」有所出入。
圖片
在隱形屏幕出現(xiàn)后，我或許會(huì)嘗試將更多的任務(wù)外包給 AutoGLM。
這些 demo 更像對(duì)不久的未來(lái)的一種預(yù)言。我們能體會(huì)到 demo 中 AI 助手的神奇與實(shí)用，產(chǎn)品的設(shè)計(jì)面向了實(shí)打?qū)嵉纳顖?chǎng)景，可以預(yù)見(jiàn)這些 AI 功能將在未來(lái)給我們節(jié)省大量的時(shí)間和精力——可能不是現(xiàn)在。
本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：伊風(fēng)
