acestep(中文名:音跃)是由阶跃星辰与ACE Studio联合发布并开源的音乐大模型。它是一个多功能的音乐生成基础模型,具备快速高质量生成、强可控性、易于拓展等特点。ACE-Step的参数量为3.5B,支持多种语言的歌曲生成,涵盖中文、英文、日语、韩语、西班牙语、俄语等19种语言。通过创新架构与训练策略,ACE-Step提升了旋律的流畅性与歌词的契合度,让生成的音乐在旋律、结构上更完整、更具情感表达力。
应用领域
音乐创作:
ACE-Step支持多种主流音乐风格的创作,能够生成丰富多样且兼具表现力的演唱、器乐编排,确保音乐的连贯性与和谐,并展现出风格的多样性。
例如,用户可以输入歌词,模型自动生成旋律并演唱完整歌曲;或者根据指定的风格标签(如说唱、电子乐、流行等),自动生成伴奏和配器。
人声生成:
从歌词直接生成人声音频,适合制作人声演示。
ACE-Step的Lyric2Vocal功能通过LoRA微调将歌词转化为富有表现力的人声。
音乐制作:
生成乐器循环和音效,提供创作素材。
Text2Sample功能根据文本提示生成音乐样本和循环片段。
多语言支持:
适用于跨语言音乐创作。
支持19种语言,其中英语、中文、俄语、西班牙语、日语等10种语言表现尤为出色。
音乐教育:
作为教学工具,帮助学习音乐创作。
音频编辑与处理:
支持精确修改已生成歌曲的歌词内容、语气或情感表达,确保每行歌词与整体音乐风格完美契合。
如果生成的作品不完全符合创作需求,创作者可以使用Retake功能重新生成一首风格相似、结构类似的歌曲,或者通过Repaint对特定部分(如旋律或歌词)进行局部调整。
相关背景信息
技术创新与架构优势:
ACE-Step采用创新架构和训练策略,大幅提升了旋律的流畅性和歌词的契合度。
作为一款通用性极强的音乐基础模型,ACE-Step支持包括LoRA和ControlNet在内的多种微调方式,能够灵活适配多样的下游任务。
生成模式与多语言支持:
ACE-Step提供两种生成模式:快速模式和慢速模式。最快15秒即可生成一整首歌曲,慢速模式也仅需32秒。
该模型支持19种语言的歌曲生成,满足跨文化音乐创作需求。
先进技术应用与模型架构:
ACE-Step采用一阶段DiT架构,结合REPA技术通过语义约束提升音频生成质量。
模型同时引入了DCAE(深度压缩自编码器)技术与线性Transformer架构,显著提升生成速度和效率。
开源意义与未来展望:
ACE-Step的开源发布为全球音乐创作者提供了更高效、灵活的创作工具。
阶跃星辰与ACE Studio将持续推动音乐模型技术的发展,积极探索泛文娱产业的深度应用,为全球用户提供专业且创新的音乐技术服务。
社区驱动创新:
作为一款开源模型,ACE-Step通过GitHub向开发者开放,允许社区对其进行微调以适配多样化的音乐任务。
ACE Studio与StepFun表示,ACE-Step的简单架构和低硬件要求使其易于扩展,未来有望支持更多音乐风格和创作场景。
总结
ACE-Step是一个具有革命性的音乐生成基础模型,它不仅在技术上实现了多项突破,还在应用领域展现了广泛的可能性。通过其快速的生成速度、多语言支持、多样化的音乐风格生成能力,ACE-Step为音乐创作者、制作人和内容创作者提供了一个强大而灵活的工具。同时,其开源的特性也鼓励了社区的参与和创新,预示着音乐AI领域的未来发展将更加多元化和开放。
教程:
1选择模型位置
2选择模型
3,点击初始化服务
4,填参数



歌词和音乐风格可以用豆包等程序自动生成,下面是我的提示词你是优秀词曲作家,请参照上面的格式,把主题更改为儿歌面面是个小话痨,曲风也做相应更改,输出格式也应与示例一致示例:music style: An explosive, high-energy pop-rock track with a strong anime theme song feel. The song kicks off with a catchy, synthesized brass fanfare over a driving rock beat with punchy drums and a solid bassline. A powerful, clear male vocal enters with a theatrical and energetic delivery, soaring through the verses and hitting powerful high notes in the chorus. The arrangement is dense and dynamic, featuring rhythmic electric guitar chords, brief instrumental breaks with synth flourishes, and a consistent, danceable groove throughout. The overall mood is triumphant, adventurous, and exhilarating.[Intro - Synth Brass Fanfare][Verse 1]黑夜里的风吹过耳畔甜蜜时光转瞬即万脚步飘摇在星光上心追节奏心跳狂乱耳边传来电吉他呼唤手指轻触碰点流点燃梦在云端任它蔓延疯狂跳跃自由无间[Chorus]心电感应在震动间拥抱未来勇敢冒险那旋律在心中无限世界变得如此耀眼[Instrumental Break - Synth Brass Melody][Verse 2]鼓点撞击黑夜的底端跳动节拍连接你我俩在这里让灵魂发光燃尽所有不留遗憾[Instrumental Break - Synth Brass Melody][Bridge]光影交错彼此的视线霓虹之下夜空的蔚蓝月光洒下温热心田追逐梦想它不会遥远[Chorus]心电感应在震动间拥抱未来勇敢冒险那旋律在心中无限世界变得如此耀眼[Outro - Instrumental with Synth Brass Melody][Song ends abruptly]
填“语种”
