昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球


3月26日,昆仑万维正式发布Mureka O1模型与Mureka V6模型。Mureka O1作为全球首款音乐推理大模型,性能超越Suno、模型登顶SOTA,中国科技创新再次在AI音乐领域领跑全球。


2024年4月,昆仑万维发布了第一代音乐生成模型:Mureka V1(SkyMusic),获得了非常好的市场反响。在过去接近一年的时间里,我们的技术团队、产品团队持续对Mureka进行升级迭代。截至目前,全球范围内已经有超过100个国家和地区的用户访问我们的AI音乐产品——Mureka。

Mureka是Music与Eureka的结合。Eureka源自希腊语的感叹词,意为我发现了、我找到了,常用于表达突然获得灵感的时刻。Mureka寓意着,我们希望它可以将人们的音乐灵感爆发时刻快速记录下来,并创作出属于自己风格的歌曲。

《Mureka》AI音乐人MV全网首发,歌手:Mureka;该作品由AI生成,其中音乐由Mureka生成,视频由SkyReels技术支持生成。

1

Mureka V6&O1全量上线,支持自由切换,来自东方的音乐魔盒惊艳全球

Mureka V6是当前Mureka的基座模型,支持纯音乐生成,还支持10种语言的AI音乐创作,包括英语、中文、日语、韩语、法语、西班牙语、葡萄牙语、德语、意大利语和俄语。在Mureka V6中,团队引入自研 ICL(in-context learning)技术,使得声场更加开阔,人声质感和混音设计进一步强化。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka V6进入界面,图中箭头所示位置(来源:Mureka官网)

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka V6支持10种语言的AI音乐创作(来源:Mureka官网)

Mureka O1模型是基于Mureka V6思维链的推理优化版本,也是全球范围内首个引入CoT的音乐模型,在推理过程中加入思考与自我批判,大幅提升音乐品质、音乐创作效率和灵活性。

Mureka V6和O1模式支持多元化的音乐创作风格及情感表达。曲风涵盖爵士(Jazz)、电子(Electronic)、流行(Pop)、乡村(Country)、节奏布鲁斯(R&B)、灵魂乐(Soul)、蓝调(Blues)、摇滚(Rock)、舞曲(Dance)等;情感维度包括快乐、放纵、神秘、充满活力、悲伤等多种情绪表达。

此外,Mureka还提供两个特色音乐生成功能:

  1. 歌曲参考(Reference Fuction):将音乐本身作为提示,用户可直接上传音频或Youtube链接作为创作提示,比文本提示更直接更高级的提示方式;

  2. 音色克隆(Vocal Fuction):Mureka是全球首个可以指定演唱歌手音色的AI音乐生成平台,用户不仅可以选择官方提供的多种歌手音色,还可以上传自己的声音,让AI学习并复刻,精准模拟歌手音色,一键生成个性化专属作品。自定义歌手音色的功能宣告人人都能成为AI歌手的时代正式到来了。

Mureka V6和O1的发布,是AI音乐行业技术进步的一个重要里程碑,也证明了AI在艺术创作中的潜力,展示了持续探索新的技术形式和艺术表现形式的巨大可能性。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka O1进入界面,图中箭头所示位置(来源:Mureka官网)

例如我们选择Mureka V6模型,选择「纯音乐」创作功能,在文本框内输入「Latin song」,点击「创作」,Mureka快速为我们生成一首拉丁风纯音乐,仿佛置身于海滩,感受到热情且惬意的度假氛围。

或者我们选择Mureka O1模型,在文本框内输入「轻松欢快的百老汇乐队爵士英文歌曲」,点击「创作」,Mureka可以自己填词,并立即生成一首符合创作者要求的爵士音乐,适合在夜晚的西餐厅播放或在轻松的旅途中收听。

英文歌曲创作的效果非常惊艳,我们继续让Mureka O1模型为我们作一首中文歌,体验一下不同语言的歌曲音质。在文本框中输入「创作一首POP风格的中文歌曲」,再点击「创作」,Mureka立即完成填词,生成一首充满自由气息的流行歌曲,非常适合在派对、音乐节播放。

最后,让我们来一起探索Mureka最有趣的功能:音色克隆,输入我们自己创作的词,并选择一个音色,点击创作。让我们一起来听听,这是谁的声音?

2

Mureka O1采用业界首创自研MusiCoT技术、登顶SOTA、性能超越Suno,AI将为音乐注入灵魂

Mureka O1中包含了Mureka团队最新发布的音乐生成领域的创新研究成果——MusiCoT,具备技术领先性和前瞻性我们发现,业界关于音乐领域的算法工作非常少,只有少数几个团队公开了自己的工作成果。为此,我们以论文形式公开了Mureka O1的实现原理,欢迎业界在此基础之上做出更好的工作。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球

项目主页:MusiCoT.github.io

MusiCoT利用了思维链Chain-of-Thought (CoT)方法,不同于传统自回归模型逐步生成音频,MusiCoT首次在细粒度音频token预测前预生成整体音乐结构,大幅提升生成音乐的结构连贯性与乐器编排精准度。MusiCoT基于CLAP模型,无需人工标注即具备高扩展性,并显著提高了生成音乐的可解释性和质量。MusiCoT为高保真AI音乐生成开辟全新路径,推动音乐AI创作迈入结构化时代。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球

图丨Mureka自研基于MusiCoT的自回归模型音乐生成技术(来源:MusiCoT.github.io)

基于首次在音乐生成领域引入Chain-of-Thought(CoT)技术、算法框架的升级,Mureka O1不仅保持了低延迟音乐生成,还显著提升了歌词旋律契合度、演唱准确性和艺术表现力等,多项指标领先于Suno V4。

通过AI基础设施深度优化,Mureka O1实现了行业领先的低延迟音乐生成,提供即时、高质量的用户体验。以下实测采用相同prompt进行输入:

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka O1实现了行业领先的低延时音乐生成

在我们的实际测试中,发音唱对率、乐段准确率、文本相关度、制作质量等客观指标,Mureka V6都显著优于Suno V4。通过下述主流的开源模型对生成音乐进行分析测试,Mureka O1在发音清晰程度、生成乐段的精准度上遥遥领先。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka O1在文本生成音乐的客观测评中得分

音乐最终还是要服务于人的耳朵,因此主观评价和客观评价同样重要。

在最新的音乐评测中,Mureka O1展现出卓越的音乐品质,在最终的整体听感评测超过了Suno V4。其中,Mureka O1在混音(Mixing)、人声质感(Vocal Texture)、BGM质感(Background Music Texture)方面明显超越Suno V4;在配器丰富度(Instrumentation Richness)、作曲结构(Composition Structure)和旋律动机质量(Motif Quality)表现上相较于Mureka V6实现了显著提升。这一进展标志着Mureka在音乐生成领域的持续突破,为用户带来更丰富、更高品质的音乐体验。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka O1在主观测评中整体听感超越Suno V4

让我们将同一段歌词输入Suno与Mureka,感受一下Mureka O1带来的更卓越的音乐品质。

3

全球首次开放API服务与模型微调功能,共建AI音乐开发者生态

Mureka是全球首批开放API服务的高质量AI音乐生成平台。不论是开发者,还是音乐平台,现在都可以将Mureka的音乐生成能力无缝集成到自己的产品或平台中,更容易地应用AI音乐功能拓展自己的商业价值。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球

图丨Mureka API服务界面(来源:Mureka官网)

面向企业和开发者,Mureka同时开放两大类灵活的API服务,不仅包括音乐音频生成API,还有语音合成API:

1. 音乐API

标准音乐生成API:支持多种输入包括文本提示、音色参考、音频参考的音乐生成,歌词创作。通过不同维度的输入,系统可生产多风格音乐及纯音乐,适用于内容创作、游戏配乐、短视频等多场景应用。

精调私有曲库API:上传私有曲库定制专属风格,模型精调技术深度解析每一首旋律风格偏好,无需音乐知识也可轻松定制品牌音乐、个人专辑等专属内容。

2.  语音API

提供AI 语音播客、精品说话人、音色克隆等 API ,用于语音播客、预制精品音色语音合成、音色克隆等场景。

其中,Mureka同步开放的前沿语音合成API——Mureka TTS,在与ElevenLabs、OpenAI、微软的横向评测表现出色。如下图所示,Mureka TTS在对话聊天类全场景效果测评中排名第一(总体得分4.34),与一线厂商相比,各维度均表现优异。

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka TTS在对话聊天类全场景效果表现优异

不仅在全球范围内,首次开放API服务,Mureka同步开放基于Mureka V6的模型微调服务,成为全球首个开放模型微调功能的AI音乐生成平台

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球图丨Mureka模型微调功能进入界面,图中箭头所示位置(来源:Mureka官网)

昆仑万维发布全球首款音乐推理大模型Mureka O1,中国AI音乐革命领跑全球

图丨Mureka模型微调功能使用界面(来源:Mureka官网)

有需求的用户可以提供自己的私有数据,在我们强大的基座模型之上训练属于自己的专属音乐模型,为自己的音乐创作提升效率。当然,你提供的数据我们会严格保密,不会用于训练我们自己的基座模型,也不会泄露给其他人,你的模型只属于你。

这项功能让AI音乐创作更加个性化,为音乐人、制作人、甚至品牌和游戏开发者提供了定制化的AI音乐解决方案。

未来,Mureka团队将会持续在模型能力上投入,让我们的音乐模型持续保持在全球第一梯队,同时在基座模型之上开发更多音乐创作功能,例如音乐生成的二次编辑、歌曲二创等等。

欢迎全球用户登录Mureka(www.mureka.ai),体验全新V6&O1模型,与全球AI音乐创作者共同探索音乐创作的无限可能,共同建设AI音乐开发者生态!

相关文章