本地一键运行!VibeVoice让AI语音合成突破90分钟极限

上周末我刷到一个视频,里面有个AI在模拟多人对话,声音自然得就像真人在聊天。我当时就惊了——这玩意儿居然能一口气生成90分钟的音频,还支持4个不同角色!

这就是VibeVoice,一个专门做多角色长音频生成的神器。简单来说,它就像个超级智能的配音演员,不仅能模仿不同人的声音,还能理解对话的节奏和情感。

核心亮点

多角色长音频生成:能生成90分钟的音频,支持最多4个不同角色的语音,超越了传统模型1-2角色的限制。这玩意儿就好比,以前你只能让AI说单口相声,现在它能演整台话剧了!

高效的语音tokenizers:采用7.5Hz超低帧率的声学和语义tokenizers,既保留了音频的高保真度,又大幅提升了处理长序列的计算效率。简单来说,就是它把声音压缩得更聪明,既省内存又保质量。

结合LLM和扩散模型:模型基于Qwen2.5-1.5B LLM理解对话上下文和流程,搭配扩散头生成高保真的声学细节,模拟自然的对话节奏。这就像给AI装了个大脑,让它不仅会说话,还会思考怎么说话更自然。

支持英语和中文:目前仅支持这两种语言,其他语言可能导致输出不准确或不可理解。

使用流程

第一步:下载压缩包及解压,双击启动命令即可运行

第二步:给定文本,选择不同的说话人

第三步:设置参数,点击运行,即可生成结果

技术要求

运行环境要求Windows 10/11 64位操作系统,8G显存以上30、40、50系列英伟达显卡,CUDA >= 12.4。技术原理上,VibeVoice使用连续语音tokenizers在7.5Hz超低帧率下工作,通过next-token扩散框架结合大语言模型来理解文本上下文,用扩散头生成高保真声学细节。

上述AI工具已经制作成了本地一键启动包,你只需点击即可在个人电脑使用,再也不用担心泄露隐私和配置环境出现各种问题。

获取整合包地址,请访问:https://xueshu.fun/7160

会员分体验会员和永久会员,都可以免费下载本站所有课程软件等资源。

体验会员状态的刷新时间为北京时间上午8:00。AI软件下载后可以永久使用,与会员有效期无关。

本站所有资源支持免费更新,具体规则如下:

  • 登录后单独购买的资源,可以永久免费更新,无时间限制
  • 购买体验会员的用户,在会员到期后,下载的内容将无法继续获得更新
  • 购买永久会员的用户,可以永久免费更新,无时间限制

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。如果不放心,可以开通体验会员体验,满意再升级其他会员套餐。

从2019年开始已经运行3年多时间,诚信经营,会员过万,所有数据均有3级容灾备份,不存在安全问题。

碰到问题可优先查看文章教程。AI软件相关问题,请先检查自己机器是否为N卡,除非特别注明支持A卡或者CPU,一般默认只支持N卡运行,有些软件需要安装 CUDA 才能运行,请参考CUDA安装教程。其他售前售后问题请添加学术Fun公众号,站长每天上午8-9点,晚上7-8点时间段统一回复解决问题,其他时间看到留言也会第一时间解决。