新知同享 | AI 開發廣泛應用，高效構建

2023-09-11 16:36:50

企業動態

谷歌的許多團隊都在為 Web 機器學習的未來積極貢獻力量。例如，Chrome 團隊正致力于制定新的 Web 標準，使 TensorFlow.js 和 MediaPipe 等團隊能夠在這些堆棧的基礎上構建各種產品和服務，并實現更出色的性能。

谷歌致力于通過高效、可靠的方法

構建 AI 驅動的產品

如今已經走過了七年 "AI 為先" 的旅程

一起來看 2023 Google 開發者大會上

AI 開發如何被廣泛應用，簡化開發

并將機器學習的強大能力

引入到應用和工作流中

提高開發者工作效率

精彩大會現場一覽

過去 3 年，Web 機器學習技術的使用和開發都呈指數級增長，許多熱門 Google 產品都已采用 Web 技術。谷歌的許多團隊都在為 Web 機器學習的未來積極貢獻力量。例如，Chrome 團隊正致力于制定新的 Web 標準，使 TensorFlow.js 和 MediaPipe 等團隊能夠在這些堆棧的基礎上構建各種產品和服務，并實現更出色的性能。

MediaPipe 是一個開源的跨平臺框架，用于在移動設備、桌面設備和 Web 上構建機器學習解決方案。MediaPipe 提供可自定義的設備端解決方案，只需幾行代碼，即可將解決方案集成到 Web 應用中。此外，MediaPipe 也發布了新模型，例如人臉融合變形分類。開發者可以使用此模型來創建虛擬頭像，使其實時匹配用戶的面部表情。

MediaPipe Studio 是一款基于 Web 的應用程序，用于評估和自定義應用程序的設備上 ML 模型和管道。MediaPipe Studio 可讓開發者使用自己的數據和自定義的 ML 模型在瀏覽器中快速測試 MediaPipe 解決方案，以及支持試驗結果總數、報告結果的最小置信度閾值等模型設置。

MediaPipe Studio 可以提供手勢識別等完全在瀏覽器中運行的解決方案

TensorFlow.js 是谷歌新發布的模型可視化調試程序，幫助開發者比較模型在不同 TensorFlow.js 后端上執行時的輸出，找出運算輸出從何時開始出現差異，以及差異有多大，以便發現在不同后端環境和設備上使用模型時可能出現的 bug。

TensorFlow.js 模型可視化調試程序

谷歌對 WebGL 后端進行了重大優化，Web 機器學習模型的運行速度將比以往更快。單項運算級別中常見運算的性能最高能夠免費提升到原來的 5.8 倍，熱門模型性能優化最高可至原來的 1.59 倍。

谷歌在 Chrome 穩定版中添加了對 WebGPU 的支持，為 Web 注入了十億個 GPU 的強悍性能，使編解碼器、游戲和機器學習等計算密集型應用能夠在瀏覽器中運行，并且能夠實現前所未有的細節豐富度和幀率。

語言模型旨在預測和生成合理的語言。發展至今，現代大語言模型規模龐大，可以預測句子、段落甚至整個文檔的概率。典型自然語言可以處理實體提取、分類、生成摘要、情感分析、翻譯等任務。谷歌新推出的大語言模型 (LLM) 工具 PaLM API 和 MakerSuite 可以幫助開發者快速開發原型。

大語言模型 (LLM)

MakerSuite 可以幫助開發者直接在瀏覽器中快速創建提示并為其進行原型設計，無需機器學習專業知識或代碼。借助 MakerSuite，開發者將能夠迭代提示、使用合成數據增強數據集，并輕松調整自定義模型。

MakerSuite

PaLM API 使開發者可以輕松、安全地試驗谷歌的大型語言模型，即通過 PaLM API 直接訪問谷歌的先進大型語言模型，構建生成式 AI 應用。它將為開發人員提供針對多回合用例優化的模型（例如內容生成和聊天）以及針對摘要、分類等用例優化的通用模型。PaLM API 可以提供文本服務、聊天服務、嵌入服務。

開發者現在可以使用 Firebase 擴展訪問 PaLM API，即在帶有 PaLM API 擴展程序的全新聊天機器人中添加用于連續對話、文本摘要等功能的聊天界面。

通過實例，一起來了解如何通過 AI 和機器學習構建應用。

用 Flutter & AI 構建 I/O Flip

I/O Flip 是一個使用 Flutter 和 AI 構建的虛擬紙牌游戲，它展示了多項 Google 技術的融合。具體來說，開發者用 Muse 上的 DreamBooth 生成角色圖像，用 PaLM API 生成描述，用 Flutter 創建游戲 UI 和動畫，用 Dart 編寫后端，并使用一套 Firebase 和 Google Cloud 工具進行托管和共享。通過 2023 Google 開發者大會現場的互動展示區，參會者實際體驗了這款紙牌游戲，在流暢的游戲體驗中深切感受到使用 Flutter 和 AI 構建游戲的妙不可言。