OpenAI開發者大會：GPT-4炸裂更新，用了下是真強！
11月7日凌晨2點，歷史上第一次的OpenAI開發者大會正式開始，被戲稱為AI春晚 ，OpenAI終于迎來了這一重要時刻。
大會介紹：OpenAI DevDay[1]
大會視頻：OpenAI DevDay, Opening Keynote[2]
本次有多項面對普通用戶，開發者，企業用戶的炸裂更新。
面向普通用戶
圖片
現在可以創建自定義版本的ChatGPT，結合說明、額外的知識和任意組合的技能。
自定義GPT
任何人都可以輕松創建自己的GPT，無需編程。您可以為自己創建一個GPT，僅用于公司內部使用，或與他人分享。創建一個GPT就像開始對話一樣簡單，只需給它指示和額外的知識，并選擇它可以做的事情，比如搜索網頁、制作圖像或分析數據。
可以在這個地址創建GPTs:。chat.openai.com/create[3]
現在GPTs已經可以供ChatGPT Plus和企業用戶使用。一些可用的示例包括和。Canva[4]
圖片
奧特曼現場通過對話幾分鐘就做出了個GPTs創業導師應用，大大降低了應用開發門檻。
做AIGC應用層的創業公司真是太難了，AI讓世界變化更快了！
GPT Store
任何人都可以創建并公開分享GPTs。本月晚些時候，將推出GPT Store，展示經過驗證的構建者的作品。一旦進入商店，GPTs將可以被搜索，并且可能在排行榜上上升。還將重點推薦在生產力、教育和“只是為了好玩”等類別中遇到的最有用和令人愉悅的GPTs。在接下來的幾個月里，還可以根據使用您的GPT的人數來賺取收入。
ChatGPT的iPhone時刻到來了！即使不是開發者的普通人都可以創建自己的應用并發布到GPT Store（類似蘋果的APP Store），需求為王，創意為王的時代來了！
以后所有跟數字世界交互入口是不是從APP都變成了ChatGPT了？
面向企業
自從幾個月前推出ChatGPT企業版以來，早期客戶表達了希望能夠更多定制化以符合他們的業務需求的愿望。GPTs通過允許用戶為特定用例、部門或專有數據集創建ChatGPT的版本來回應這一需求。像Amgen、Bain和Square等早期客戶已經開始利用內部的GPTs來完成一些任務，比如制作體現品牌的營銷材料，幫助支持人員回答客戶問題，或者幫助新的軟件工程師進行入職培訓。
企業用戶可以在周三開始使用GPTs?，F在用戶可以讓公司內部的用戶無需編程就設計內部專用的GPTs，并將其安全發布到工作區。管理控制臺可以讓用戶選擇如何共享GPTs以及是否允許在企業內部使用外部GPTs。與ChatGPT企業版上的所有使用一樣，OpenAI不會使用用戶與GPTs的對話來改進模型。
現在可以直接基于企業私有數據集訓練一個私有的ChatGPT。OpenAI的手伸向企業服務這塊蛋糕了！
面向開發者
圖片
更新了具有 128K 上下文和更低價格的 GPT-4 Turbo、新的 Assistant API、具有 Vision 的 GPT-4 Turbo、DALL·E 3 API 等等。
API大幅升級
GPT-4支持128K上下文
GPT-4 Turbo的能力更強，了解到2023年4月的世界事件。它具有128k上下文，可以在單個提示中容納相當于300多頁的文本。我們還優化了其性能，因此我們能夠以比GPT-4更低3倍的價格提供GPT-4 Turbo的輸入標記，并以比GPT-4更低2倍的價格提供輸出標記。
Function calling更新
允許您描述應用程序或外部API的函數，并使模型智能地選擇輸出一個包含調用這些函數參數的JSON對象。我們今天發布了幾項改進，包括在單個消息中調用多個函數的能力：用戶可以發送一個消息請求多個操作，例如“打開車窗并關閉空調”，這在以前需要多次與模型的交互。我們還改進了函數調用的準確性：GPT-4 Turbo更有可能返回正確的函數參數。
更多信息：Function calling[5]
改進JSON返回格式
GPT-4 Turbo在需要仔細遵循指令的任務中表現優于以前的模型，例如生成特定格式（例如“始終以XML響應”）。它還支持新的JSON模式，確保模型將以有效的JSON響應。新的API參數response_format使模型能夠約束其輸出，生成一個語法正確的JSON對象。JSON模式對于在函數調用之外的Chat Completions API中生成JSON的開發人員非常有用。
可復現輸出和對數概率
新的seed參數通過使模型大部分時間返回一致的完成來實現可復現的輸出。這個測試版功能對于重放請求進行調試、編寫更全面的單元測試以及對模型行為具有更高程度的控制等用例非常有用。OpenAI在自己的單元測試中一直在使用這個功能，并發現它非常有價值。很期待看到開發人員如何使用它。
全新的GPT-3.5 Turbo
除了GPT-4 Turbo之外，還發布了一個新版本的GPT-3.5 Turbo，默認支持16K上下文窗口。新的3.5 Turbo支持改進的指令遵循、JSON模式和并行函數調用。例如，在生成JSON、XML和YAML等格式遵循任務中，改進了38%。開發人員可以通過在API中調用gpt-3.5-turbo-1106來訪問這個新模型。使用gpt-3.5-turbo名稱的應用程序將在12月11日自動升級到新模型。舊模型將繼續通過在API中傳遞gpt-3.5-turbo-0613來訪問，直到2024年6月13日。
GPT-4 API大幅降價
整體價格：OpenAI Pricing[6]
我們正在全平臺降低多個價格，以將節省成本傳遞給開發者（下面的所有價格均以每1,000個標記計算）：
- GPT-4 Turbo的輸入標記比GPT-4便宜3倍，為0.01美元，輸出標記比GPT-4便宜2倍，為0.03美元。
- GPT-3.5 Turbo的輸入標記比先前的16K模型便宜3倍，為0.001美元，輸出標記比先前的16K模型便宜2倍，為0.002美元。之前使用GPT-3.5 Turbo 4K的開發者在輸入標記上享受到了33%的降價，為0.001美元。這些更低的價格僅適用于今天推出的新GPT-3.5 Turbo。
- 經過微調的GPT-3.5 Turbo 4K模型的輸入標記降低了4倍，為0.003美元，輸出標記降低了2.7倍，為0.006美元。微調還支持與新的GPT-3.5 Turbo模型相同價格的16K上下文。這些新價格也適用于經過微調的gpt-3.5-turbo-0613模型。
圖片
發布Assistant API
這個助手功能真是大殺器！Assistant API現在可以開啟多種工具，編排出復雜的應用。
工具包括
- 代碼解釋器（Code Interpreter）：在受限執行環境中編寫和運行Python代碼，可以生成圖表、處理具有多樣數據和格式的文件。它使您的助手可以迭代運行代碼，解決具有挑戰性的代碼和數學問題等。
- 檢索（Retrieval）：通過外部模型以外的知識增強助手，例如專有領域數據、用戶提供的產品信息或文檔。這意味著您無需為文檔計算和存儲嵌入，也無需實現分塊和搜索算法。ChatGPT的助手API根據我們在知識檢索方面的經驗優化了檢索技術的使用。
- 函數調用（Function calling）：使助手能夠調用您定義的函數，并將函數響應納入其消息中。
Playground頁面調用
官方示例：
代碼解釋器示例：
我上傳了一個文本文件。讓他「幫我按---分割截取第一段內容，進行返回」。
這里自動調用了代碼解釋器，運行了python代碼幫我進行字符串切割最終返回。
圖片
檢索示例：
問了一個「什么是八爪魚」的問題。
這里我投喂了一個私有數據的文檔，所以GPT可以知道「八爪魚」是一個爬蟲工具而不是一種動物。
圖片
函數調用示例：
函數調用基本概念參考我之前文章：OpenAI API進階-Function Calling實現插件！[7]
我問了一個「北京今天天氣如何的」問題。
- 觸發了函數調用get_weather，返回了我函數中定義的城市和單位。
圖片
- 模擬調用本地函數，進行第二次GPT調用，返回給我最終結果
圖片
API調用
API文檔：Assistant API[8]
上面Playground演示的過程就是API的調用過程。這個API特別復雜，后續單獨寫一篇專門講解。
多模態API發布
GPT-4 Turbo和帶有視覺的GPT-4 Turbo可以在Chat Completions API中接受圖像作為輸入，實現生成標題、詳細分析現實世界圖像以及閱讀帶有圖表的文檔等功能。例如，BeMyEyes利用這項技術幫助視力障礙或低視力的人們完成日常任務，如識別產品或導航商店。開發者可以在API中使用gpt-4-vision-preview來訪問這個功能。對于GPT-4 Turbo，定價取決于輸入圖像的尺寸，例如將一個1080×1080像素的圖像傳遞給GPT-4 Turbo的成本為0.00765美元。
價格對比
圖片
API實戰
API文檔：Vision API[9]
需要在正常的chat接口中增加一個image_url類型的圖片url，model選擇gpt-4-vision-preview ，目前我的轉發站還沒有兼容，有4.0key的小伙伴可以試試。
不僅可以傳單張圖片，還可以傳多張圖片并對比他們的區別。
請求
我把用DALLE3生成的水獺圖片讓GPT-4v描述其中的內容
curl https://proxy.hehanwang.com/v1/chat/completions -H "Content-Type: application/json" -H "Authorization: Bearer sk-xxx" -d '{
"model": "gpt-4-vision-preview",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": "What’s in this image?"
},
{
"type": "image_url",
"image_url": {
"url": "https://s2.loli.net/2023/11/07/ejyY8AFt1pbIWzH.png"
}
}
]
}
],
"max_tokens": 300
}'響應
{
"id": "chatcmpl-8IBLbpTkWbnHKoRSqw7ONSseETh8n",
"object": "chat.completion",
"created": 1699344215,
"model": "gpt-4-1106-vision-preview",
"usage": {
"prompt_tokens": 778,
"completion_tokens": 115,
"total_tokens": 893
},
"choices": [
{
"message": {
"role": "assistant",
"content": "This image features an adorable baby otter floating on water. The otter looks like it's resting its chin on its crossed paws, with a playful and innocent expression on its face. The background consists of a beautiful blue sky with light wisps of clouds, a bright sun, and a landscape that might suggest a coastal environment. The water is a clear blue, suggesting a serene aquatic setting. The image has a very vibrant and sharp quality, likely indicating it is a digital creation or significantly enhanced photograph aimed at showcasing the otter in a particularly cute and engaging manner."
},
"finish_details": {
"type": "stop",
"stop": "<|fim_suffix|>"
},
"index": 0
}
]
}%對圖片內容的描述質量我理解還是非常不錯的（形容詞比我用的溜呀）。
這張照片描繪了一只可愛的水獺寶寶漂浮在水面上。這只水獺看起來像把下巴放在交叉的爪子上，臉上帶著一種頑皮而天真的表情。背景是美麗的藍天和縷縷白云，明亮的太陽，以及可能讓人聯想到沿海環境的景觀。水是清澈的藍色，暗示著寧靜的水生環境。這張照片非常生動、清晰，很可能表明這是一張數碼作品，或者是一張經過顯著增強的照片，旨在以一種特別可愛和迷人的方式展示水獺。
文生圖 DALL·E3
DALL·E2的圖片生成質量一直很差，被大家詬病。DALL·E3的文字理解程度和圖片質量有很大的提升。之前是只能在ChatGPT的頁面上使用，現在終于有API版本了！DALL·E3每張圖價格$0.040，相比DALL·E2的$0.020增加了一倍
價格對比
圖片
API實戰
API文檔：DALL·E API[10]
- DALL·E2
請求
curl https://key.wenwen-ai.com/v1/images/generations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-NYsoG3VBKDiTuvdtC969F95aFc4f45379aD3854a93602327" \
-d '{
"model": "dall-e-2",
"prompt": "A cute baby sea otter",
"n": 1,
"size": "1024x1024"
}'響應
{
"created": 1699339572,
"data": [
{
"url": "https://oaidalleapiprodscus.blob.core.windows.net/private/org-iS1RHGfXtfuzTMR23GkMXCkA/user-9IbPVG6plCvypz0hG8Srcc25/img-VkyOb9Kl3RdrHeVHcdFVMePi.png?st=2023-11-07T05%3A46%3A12Z&se=2023-11-07T07%3A46%3A12Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2023-11-06T14%3A06%3A55Z&ske=2023-11-07T14%3A06%3A55Z&sks=b&skv=2021-08-06&sig=Yx3VF2CF%2BTquwjVM27%2BFZ4oY/BD9HmvulgE6dguHntg%3D"
}
]
}- DALL·E3
請求
curl https://key.wenwen-ai.com/v1/images/generations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-NYsoG3VBKDiTuvdtC969F95aFc4f45379aD3854a93602327" \
-d '{
"model": "dall-e-3",
"prompt": "A cute baby sea otter",
"n": 1,
"size": "1024x1024"
}'響應
{
"created": 1699339510,
"data": [
{
"revised_prompt": "Visualize a baby sea otter resting adorably on top of a water's surface. The otter should look extremely cute with its small, rounded body covered with rich, dark brown fur. The otter's eyes are wide and sparkling with curiosity, while its tiny claws are curled up under its chin as if it's trying to hold onto something. The backdrop comprises of a calm, clear blue sea under a radiant sky. The whole image emits a sense of peace and innocence.",
"url": "https://oaidalleapiprodscus.blob.core.windows.net/private/org-iS1RHGfXtfuzTMR23GkMXCkA/user-9IbPVG6plCvypz0hG8Srcc25/img-G39CYL0CxO5idBvylELrIdb6.png?st=2023-11-07T05%3A45%3A10Z&se=2023-11-07T07%3A45%3A10Z&sp=r&sv=2021-08-06&sr=b&rscd=inline&rsct=image/png&skoid=6aaadede-4fb3-4698-a8f6-684d7786b067&sktid=a48cca56-e6da-484e-a814-9c849652bcb3&skt=2023-11-06T18%3A46%3A53Z&ske=2023-11-07T18%3A46%3A53Z&sks=b&skv=2021-08-06&sig=vtruEBg63opqFoPEeI0ae/ScUU1QdXoZsmErSICFHD4%3D"
}
]可以看到DALL·E3畫出來的小水獺確實比DALL·E2好不少！
聲音合成 TTS
通過文本到語音 API 生成高質量的人類語音。新的 TTS 模型提供了六種預設聲音可供選擇，以及兩種模型變體，tts-1 和 tts-1-hd。tts 優化了實時使用情況，tts-1-hd 優化了音質。定價從每輸入 1,000 個字符的 $0.015 開始。
價格對比：
圖片
API實戰
API文檔：Audio API[11]
請求
curl https://proxy.hehanwang.com/v1/audio/speech \
-H "Authorization: Bearer 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" \
-H "Content-Type: application/json" \
-d '{
"model": "tts-1",
"input": "The quick brown fox jumped over the lazy dog.",
"voice": "alloy"
}' \
--output speech.mp3
