當(dāng)前的音樂生成模型在生成速度、音樂連貫性和可控性之間面臨著固有的權(quán)衡。例如，基于 LLM 的模型（例如 Yue、SongGen）在歌詞對齊方面表現(xiàn)出色，但推理速度慢且存在結(jié)構(gòu)性偽影。 另一方面，擴(kuò)散模型（例如 DiffRhythm）雖然能夠?qū)崿F(xiàn)更快的合成速度，但通常缺乏長距離的結(jié)構(gòu)連貫性。對此，人工智能公司階躍星辰（StepFun）與數(shù)字音樂平臺 ACE Studio 聯(lián)合推出了一款音樂生成基礎(chǔ)模型 ACE-Step-v1-3.5B ，于 2025 年 5 月 7 日開源。該模型在 NVIDIA A100 GPU 上只需 20 秒即可合成長達(dá) 4 分鐘的音樂，比基于 LLM 的基線方法快 15 倍， 同時(shí)在旋律、和聲和節(jié)奏指標(biāo)方面實(shí)現(xiàn)了卓越的音樂連貫性和歌詞對齊。

相較于傳統(tǒng) AI 音樂工具， ACE-Step 克服了現(xiàn)有方法的關(guān)鍵局限性，并通過整體架構(gòu)設(shè)計(jì)實(shí)現(xiàn)了最佳性能，在多元風(fēng)格流派、多語言支持、器樂表現(xiàn)力和人聲表現(xiàn)力 4 個(gè)方面有著突出優(yōu)勢。 其開源版本已支持 19 種語言輸入，并且保留了精細(xì)的聲學(xué)細(xì)節(jié)，支持高級控制機(jī)制，例如語音克隆、歌詞編輯、混音和音軌生成等，此外還支持所有主流音樂風(fēng)格、多種演唱風(fēng)格，支持跨流派器樂生成，能精準(zhǔn)還原樂器音色特征可生成包含復(fù)雜編曲的多軌音樂。

小編借?ACE-Step-v1-3.5B 之手，僅需輸入音樂風(fēng)格和歌詞等參數(shù)，即可快速生成一段 30 秒的音樂片段～

• tag 輸入：funk, pop, soul, rock, melodic, guitar, drums, bass, keyboard, percussion, 105 BPM, energetic, upbeat, groovy, vibrant, dynamic

目前，「ACE-Step：音樂生成基礎(chǔ)模型」已上線至 HyperAI超神經(jīng)官網(wǎng)的「教程」板塊， 點(diǎn)擊下方鏈接即可體驗(yàn)一鍵部署教程 ??

教程鏈接： https://go.hyper.ai/tTmib

Demo 運(yùn)行

1.進(jìn)入 hyper.ai 首頁后，選擇「教程」頁面，并選擇「ACE-Step：音樂生成基礎(chǔ)模型」，點(diǎn)擊「在線運(yùn)行此教程」。

2.頁面跳轉(zhuǎn)后，點(diǎn)擊右上角「克隆」，將該教程克隆至自己的容器中。

3.選擇「NVIDIA GeForce RTX 4090」以及「PyTorch」鏡像，OpenBayes 平臺提供了 4 種計(jì)費(fèi)方式，大家可以按照需求選擇「按量付費(fèi)」或「包日/周/月」，點(diǎn)擊「繼續(xù)執(zhí)行」。新用戶使用下方邀請鏈接注冊，可獲得 4 小時(shí) RTX 4090 + 5 小時(shí) CPU 的免費(fèi)時(shí)長！

HyperAI超神經(jīng)專屬邀請鏈接（直接復(fù)制到瀏覽器打開）：

https://openbayes.com/console/signup?r=Ada0322_NR0n

4.等待分配資源，首次克隆需等待 2 分鐘左右的時(shí)間。當(dāng)狀態(tài)變?yōu)椤高\(yùn)行中」后，點(diǎn)擊「API 地址」旁邊的跳轉(zhuǎn)箭頭，即可跳轉(zhuǎn)至 Demo 頁面。由于模型較大，需等待約 3 分鐘顯示 WebUI 界面，否則將顯示「Bad Gateway」。請注意，用戶需在實(shí)名認(rèn)證后才能使用 API 地址訪問功能。

效果演示

該項(xiàng)目提供多任務(wù)創(chuàng)作面板：Text2Music Tab、Retake Tab、 Repainting Tab、Edit Tab 和 Extend Tab。

各模塊功能及參數(shù)調(diào)整簡介如下：

Text2Music Tab

• Audio Duration：設(shè)置生成音頻的時(shí)長（-1 表示隨機(jī)生成）

• Tags：輸入描述性標(biāo)簽、音樂流派或場景描述，用逗號分隔

• Lyrics：輸入帶有結(jié)構(gòu)標(biāo)簽的歌詞，如 [verse]、[chorus]、[bridge]

• Basic Settings：調(diào)整推理步數(shù)、指導(dǎo)比例和種子值

• Advanced Settings：微調(diào)調(diào)度器類型、CFG 類型、ERG 設(shè)置等參數(shù)

• 點(diǎn)擊「Generate」按鈕，根據(jù)輸入內(nèi)容創(chuàng)作音樂

Retake Tab

功能： 通過不同種子值重新生成音樂并產(chǎn)生細(xì)微變化，調(diào)整變化參數(shù)以控制新版本與原版的差異程度

• variance：填寫方差

• retake seeds (default None)：填寫隨機(jī)數(shù)種子

• 點(diǎn)擊「Retake」按鈕，重新生成

Repainting Tab

功能： 選擇性重新生成音樂的特定段落

• variance：方差

• retake seeds (default None)：隨機(jī)種子

• Repaint Start Time：指定需要重新生成段落的開始時(shí)間

• Repaint End Time：指定需要重新生成段落的結(jié)束時(shí)間

• Repaint Source：選擇源音頻（text2music、last_repaint 或 upload）

• 點(diǎn)擊「Repaint」按鈕，重新生成
  

Edit Tab

功能： 通過調(diào)整編輯參數(shù)控制對原曲的保留程度

• Edit Tags：修改標(biāo)簽來改編現(xiàn)有音樂

• Edit Lyrics：修改歌詞來改編現(xiàn)有音樂

• edit seeds (default None)：編輯隨機(jī)種子

• Edit Type：編輯類型，可選擇「only_lyrics」模式（保留原旋律）或「remix」模式（改變旋律）

• Repaint End Time：指定需要重新生成段落的結(jié)束時(shí)間

• edit_n_min：編輯最小范圍

• edit_n_max：編輯最大范圍

• Edit Source：編輯資源

• 點(diǎn)擊「Edit」按鈕，編輯
  

Extend Tab

功能： 在現(xiàn)有音樂的開頭或結(jié)尾添加音樂片段

• edit seeds (default None)：擴(kuò)散隨機(jī)種子

• Left Extend Length：指定左側(cè)擴(kuò)展時(shí)長

• Right Extend Length：指定右側(cè)擴(kuò)展時(shí)長

• Extend Source：選擇需要擴(kuò)展的源音頻

• 點(diǎn)擊「Extend」按鈕，擴(kuò)散