昨夜，OpenAI發(fā)布全新圖像生成模型gpt-image-1，API向所有開發(fā)者開放。

這一次，他們直接把每張圖的成本打到幾美分。

圖片

對于低、中、高質(zhì)量的方形圖像，生成大約花費(fèi)0.02美元、0.07美元、0.19美元。

gpt-image-1集成了三大核心功能：圖像生成、圖像編輯、圖像變體（僅限D(zhuǎn)ALL·E 2）。

與GPT-4o圖像生成不同，gpt-image-1最大的特點(diǎn)，在于支持各種高級功能的定制。

圖片

比如，自定義輸出圖像的質(zhì)量、尺寸、格式、壓縮程度，甚至可選擇是否需要透明背景，能夠滿足多樣化創(chuàng)意需求。

它具備了強(qiáng)大的通用能力，不僅能夠創(chuàng)作多種風(fēng)格圖片，還能精準(zhǔn)遵循自定義需求。通過結(jié)合世界知識，生成更符合上下文的圖像。

圖片

現(xiàn)在，你就可以在playground中使用gpt-image-1來快速迭代提示詞和圖像：

圖片

GPT-4o上線掀起全網(wǎng)吉卜力風(fēng)潮，并在發(fā)布首周全球1.3億用戶，創(chuàng)作了超7億圖片。

gpt-image-1作為OpenAI全新一個原生多模態(tài)圖像模型，隨著API開放，將會在未來極大地釋放人們創(chuàng)意。

效果一覽

在官方API文檔「探索」區(qū)，OpenAI放出了許多gpt-image-1生成圖片的demo，效果非常驚艷。

接下來，就一睹為快吧。

一句話，讓gpt-image-1展示出創(chuàng)建鱷梨醬所需的所有食材。

圖片

下面這張夢幻之境，可是用了一個「小作文」提示詞才完成的。

圖片

再來看它創(chuàng)作的外星人Glorptak，有著凝膠狀身體，半透明發(fā)光，非常可愛。

圖片

對于模特、電商行業(yè)來說，gpt-image-1將重塑創(chuàng)作方式。上傳一張衣服圖、一張人的照片，就能看到衣服上身的效果了。

圖片

橄欖油宣傳圖，也只需找一張背景圖，gpt-image-1瞬間完成P圖。

圖片

更神奇的是，上傳一張房屋設(shè)計(jì)平面圖，gpt-image-1就能將其變?yōu)?D效果，更加直觀。

圖片

番茄醬廣告，非常有視覺沖擊力。

圖片

設(shè)計(jì)礦泉水的瓶身，也是多種風(fēng)格拿捏。

圖片

生成超寫實(shí)的3D圖標(biāo)，看著非常有質(zhì)感。

圖片

gpt-image-1還能生成粗線條手繪風(fēng)格圖解，為回針縫制法每一步配上了簡潔的說明文字。

圖片

上傳一張CD模板圖，讓gpt-image-1生成金屬樂隊(duì)黑膠唱片。

圖片

還有各種紋理的防止圖案，也是非常有創(chuàng)意。

圖片

還有動畫分鏡腳本——馬匹跳躍循環(huán)序列，gpt-image-1可做到逐幀解剖要點(diǎn)。

圖片

上傳獨(dú)立流行音樂人的照片，一張演唱會門票直接設(shè)計(jì)好了。

自定義圖像輸出，精準(zhǔn)創(chuàng)意

目前，OpenAI GPT Image API提供了豐富的自定義選項(xiàng)，讓開發(fā)者完全掌控輸出效果。

• 尺寸：支持多種分辨率，比如1024x1024, 1024x1536
• 質(zhì)量：可選low，medium，high三種渲染質(zhì)量
• 格式：文件輸出格式
• 壓縮：針對JPEG和WebP格式，可設(shè)置0-100%級別的壓縮
• 背景：透明或不透明

生成圖像

通過圖像生成端點(diǎn)，僅憑一段文本提示，即可生成令人驚嘆的圖像。

可設(shè)置參數(shù)n ，一次可生成多張圖像（默認(rèn)情況下，API返回單張圖片）。

from openai import OpenAIimport base64client = OpenAI()result = client.images.generate(    model="gpt-image-1",    prompt="Draw a rocket in front of a blackhole in deep space")image_base64 = result.data[0].b64_jsonimage_bytes = base64.b64decode(image_base64)# Save the image to a filewith open("blackhole.png", "wb") as f:    f.write(image_bytes)

from openai import OpenAI
import base64
client = OpenAI()
result = client.images.generate(
    model="gpt-image-1",
    prompt="Draw a rocket in front of a blackhole in deep space"
)
image_base64 = result.data[0].b64_json
image_bytes = base64.b64decode(image_base64)
# Save the image to a file
with open("blackhole.png", "wb") as f:
    f.write(image_bytes)

圖像編輯

而圖像編輯功能，可以讓創(chuàng)意更進(jìn)一步。通過圖像編輯端點(diǎn)，你可以：

• 直接編輯現(xiàn)有圖片
• 參考圖像生成新圖片：上傳多張參考圖像，然后生成新圖
• 局部編輯（inpainting）：通過上傳圖像和蒙版，精準(zhǔn)替換指定的區(qū)域

參考圖像生成新圖片

比如，上傳四張禮品圖片，生成一個包含所有禮品的精美禮物籃的圖像。

圖片

from openai import OpenAIclient = OpenAI()result = client.images.edit(    model="gpt-image-1",    image=[      open("body-lotion.png", "rb"),      open("bath-bomb.png", "rb"),      open("incense-kit.png", "rb"),      open("soap.png", "rb"),    ],    prompt="Generate a photorealistic image of a gift basket on a white background labeled 'Relax & Unwind' with a ribbon and handwriting-like font, containing all the items in the reference pictures")image_base64 = result.data[0].b64_jsonimage_bytes = base64.b64decode(image_base64)# Save the image to a filewith open("gift-basket.png", "wb") as f:    f.write(image_bytes)

from openai import OpenAI
client = OpenAI()
result = client.images.edit(
    model="gpt-image-1",
    image=[
      open("body-lotion.png", "rb"),
      open("bath-bomb.png", "rb"),
      open("incense-kit.png", "rb"),
      open("soap.png", "rb"),
    ],
    prompt="Generate a photorealistic image of a gift basket on a white background labeled 'Relax & Unwind' with a ribbon and handwriting-like font, containing all the items in the reference pictures"
)
image_base64 = result.data[0].b64_json
image_bytes = base64.b64decode(image_base64)
# Save the image to a file
with open("gift-basket.png", "wb") as f:
    f.write(image_bytes)

使用蒙版編輯圖像（局部編輯）

你可以上傳一個蒙版來編輯圖像，蒙版中的透明區(qū)域?qū)⒈惶鎿Q，而黑色區(qū)域保持不變。

OpenAI建議，你可以使用提示來描述整個新圖像，而不僅僅是被擦除的區(qū)域。

蒙版要求：

1. 圖像和蒙版需要格式一致，尺寸相同，大小不超過25MB。

2. 蒙版需包含Alpha通道，在圖像編輯工具中保存蒙版時，務(wù)必勾選「保存Alpha通道」。

from openai import OpenAIclient = OpenAI()result = client.images.edit(    model="gpt-image-1",    image=open("sunlit_lounge.png", "rb"),    mask=open("mask.png", "rb"),    prompt="A sunlit indoor lounge area with a pool containing a flamingo")image_base64 = result.data[0].b64_jsonimage_bytes = base64.b64decode(image_base64)# Save the image to a filewith open("composition.png", "wb") as f:    f.write(image_bytes)

from openai import OpenAI
client = OpenAI()
result = client.images.edit(
    model="gpt-image-1",
    image=open("sunlit_lounge.png", "rb"),
    mask=open("mask.png", "rb"),
    prompt="A sunlit indoor lounge area with a pool containing a flamingo"
)
image_base64 = result.data[0].b64_json
image_bytes = base64.b64decode(image_base64)
# Save the image to a file
with open("composition.png", "wb") as f:
    f.write(image_bytes)

在自定義中，還需要注意的包括：

方形圖片以標(biāo)準(zhǔn)質(zhì)量生成的速度最快，默認(rèn)大小是1024x1024。

圖片

Image API返回base64編碼的圖像數(shù)據(jù)，默認(rèn)格式是png ，但你也可以請求jpeg或webp。

如果使用jpeg或webp，還可以指定output_compression參數(shù)來控制壓縮級別（0-100%）。例如， output_compressinotallow=50就是把圖像壓縮50%。

此外，gpt-image-1支持透明背景。要啟用透明度，需將background參數(shù)設(shè)置為transparent。

from openai import OpenAIimport base64client = OpenAI()result = client.images.generate(    model="gpt-image-1",    prompt="Draw a 2D pixel art style sprite sheet of a tabby gray cat",    size="1024x1024",    background="transparent",    quality="high",)image_base64 = result.json()["data"][0]["b64_json"]image_bytes = base64.b64decode(image_base64)# Save the image to a filewith open("sprite.png", "wb") as f:    f.write(image_bytes)

from openai import OpenAI
import base64
client = OpenAI()
result = client.images.generate(
    model="gpt-image-1",
    prompt="Draw a 2D pixel art style sprite sheet of a tabby gray cat",
    size="1024x1024",
    background="transparent",
    quality="high",
)
image_base64 = result.json()["data"][0]["b64_json"]
image_bytes = base64.b64decode(image_base64)
# Save the image to a file
with open("sprite.png", "wb") as f:
    f.write(image_bytes)

模型對比

雖然gpt-image-1是目前OpenAI最強(qiáng)大的多模態(tài)模型，此前推出的DALL·E 2和DALL·E 3則是專為圖像生成設(shè)計(jì)的模型，各有所長。

根據(jù)不同需求和場景，開發(fā)者可靈活從中選用這些模型API。

圖片

gpt-image-1使用同樣是按Token計(jì)費(fèi)，文本和圖像的Token各有不同的價格：

• 文本輸入Token：5美元/百萬token
• 圖像輸入Token：10美元/百萬token
• 圖像輸出Token：40美元/百萬token

如前所述，在實(shí)際應(yīng)用中，對于低、中和高質(zhì)量的方形圖片，每生成一張圖像的費(fèi)用大約分別為0.02美元、0.07美元和0.19美元。

圖片

圖片

從創(chuàng)意到商業(yè)無限可能

OpenAI全新Image API的推出，將為各行各業(yè)解鎖更多創(chuàng)意魔法。

目前，創(chuàng)意工具、電商、教育、企業(yè)軟件、游戲等行業(yè)的領(lǐng)先企業(yè)和初創(chuàng)公司，已經(jīng)將圖像生成集成到他們的產(chǎn)品和服務(wù)中。

Adobe的創(chuàng)意工具，包括Firefly和Express，將通過gpt-image-1為創(chuàng)作者提供選擇和靈活性，方便他們實(shí)驗(yàn)不同的美學(xué)風(fēng)格。

圖片

Figma正在利用gpt-image-1從簡單的提示詞生成和編輯圖像，使設(shè)計(jì)師能夠快速探索創(chuàng)意并直接在Figma中進(jìn)行視覺迭代。

圖片

HeyGen正在使用gpt-image-1來增強(qiáng)頭像創(chuàng)建，特別是在平臺內(nèi)改善頭像編輯。

圖片

Photoroom正在使用gpt-image-1幫助在線賣家從單一產(chǎn)品照片中瞬間創(chuàng)建工作室級別的視覺效果、生活場景和模特展示圖。

圖片

此外，Canva已將gpt-image-1集成到Canva AI和Magic Studio工具中，進(jìn)一步擴(kuò)展設(shè)計(jì)生成和編輯能力。

簡單的草圖，gpt-image-1即可將其轉(zhuǎn)化為精美圖形元素。與此同時，它還支持高保真的視覺編輯，讓2.3億用戶能夠用全新方式將創(chuàng)意變?yōu)楝F(xiàn)實(shí)。

專為設(shè)計(jì)logo而生的GoDaddy，通過集成gpt-image-1，可以輕松創(chuàng)建編輯Logo，去除背景并生成專業(yè)字體設(shè)計(jì)。

借助GoDaddy Airo，創(chuàng)意者通過提示即可生成原創(chuàng)產(chǎn)品和品牌內(nèi)容，并打造體現(xiàn)自身品牌個性的社交媒體和營銷素材。

還有HubSpot通過OpenAI圖像新模型，有望徹底革新客戶制作高質(zhì)量社交媒體、郵件營銷以及落地頁圖片的方式，無需專業(yè)設(shè)計(jì)經(jīng)驗(yàn)也能輕松實(shí)現(xiàn)。

Instacart正在測試如何利用API生成用于菜譜和購物清單的圖片，以提升用戶體驗(yàn)。

創(chuàng)作個性化視頻invideo，在集成gpt-image-1后，將支持更強(qiáng)大的文本生成、精細(xì)化編輯控制和高級風(fēng)格指導(dǎo)，進(jìn)一步豐富了用戶的視頻創(chuàng)作體驗(yàn)。

參考資料：https://openai.com/index/image-generation-api/