数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS 原创
- 知识百科
- 2024-02-27 21:06:55
- 2
🚀数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS
https://github.com/Kedreamix/Linly-Talker
< p>2023.12更新 📆用户可以上传任意图片进行对话
2024.01更新 📆
令人兴奋的消息！我现在已经将增强的GeminiPro和Qwen大模型支架到我们的对话场景中。用户现在可以在对话中上传任何图片，为我们服务的互动增加了全新的层面。更新了FastAPI的调用方法。更新了微软TTS的高级设置选项，增加了声音种类的多样性，以及加入视频字幕加强可视化。 更新了GPT多轮对话系统，使对话有上下文联系，提高数字人的交互性和真实感。2024.02更新 📆
更新了Gradio的版本为最新版本4.16.0，使得界面拥有更多的功能，比如可以摄像头拍摄图片构建数字人等。更新了ASR和THG，其中ASR加入了阿里的FunASR，具体更快的速度；THG部分加入了Wav2Lip模型，ER-NeRF在准备中（即将推出）。加入了语音克隆方法GPT- SoVITS模型，能够通过操纵一分钟人的语言料进行克隆，相对效果还是相当不错的，值得推荐。集成一个WebUI界面，能够更好的运行Linly-Talker。 < p>在最近一段时间，我在尝试探索，如何克隆声音，因为在数字人对话系统中，虽然可能能够重建特定的人，但是还是存在一个问题：声音是用固定的人声生成的，导致没有真实性，如果我们能够去克隆出对应的声音，并且结合特定的数字人，那是否就完成了一个数字人的完整刻。 于是我就研究了一段时间，后面发现了两个非常音符的项目，分别是GPT-SoVITS和XTTS两个开源项目，我认为这两个开源项目是现在最好的两个开源项目了，像OpenVoice之类的效果还是比较差，火山效果不错，但是没有开源。
除此之外，我后续集成到了Linly-Talker，做了一个WebUI，能够通过我3~10s的语音大概克隆我的声音，同时也可以使用一分钟克隆训练的语音来操作，如果使用多一点的意外能够得到更好的效果，希望和大家一起努力，成功复刻出一个完整的数字人
具体也可以关注我B站的演讲视频🚀数字人的未来：Linly-Talker+GPT-SoVIT语音克隆技术的赋能之道和Linly-Talker WebUI🚀:在对话时悄悄偷走你的声音🎤
GPT-SoVITS（推荐）
感谢大家的开源贡献，我收集了当前开源的语音克隆模型GPT-SoVITS，我觉得效果是相当不错的，项目地址可参考https://github.com/RVC-Boss/GPT-SoVITS
他有以下功能：
零样文章本到语音（TTS）：输入5秒的声音样本，即体验刻文本到转换语音。少样本TTS：安装1分钟的训练数据即可模型，提升声音相似度和真实感。跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。WebUI工具：集成工具包括声音伴奏分离、自动训练集分割、中文自动语音识别(ASR)训练和文本标注，帮助初学者创建数据集和GPT/SoVITS很多模型。之前的方法都是少样本，比如OpenVoice和< code>XTTS，我之前还是想着用他们来进行实现语音克隆部分，但是很遗憾的是，并且没有感觉有很好的效果，其实XTTS不错的，如果我们简单用麦克风🎤说几句话作为参考来进行克隆，我觉得效果还是可以的。
但是如果遇到比较高的要求，我觉得可能就需要更好的模型，而且成本要压下来，所以我就看到了这个GPT-SoVITS，我觉得这个模型是相当厉害的，少样本的TTS就可以做，也可以做跨语言支持，这样我们很可能就可以体验到奥巴马讲中文之类的，这样就可以完成视频翻译的一些任务了，所以我很推崇这样的简单调节，效果又好的方法的。
为了尊敬的作者，在Linly-Talker并没有把GPT-SoVITS的代码移植过来，我写了一个关于语音克隆的类，大家可以将训练好的模型参数中，就可以在本项目使用经过语音克隆后的TTS了，希望大家玩的开心，玩的愉快。
如果使用语音克隆模型，可能需要python为3.10， pytorch为2.1左右可能比较好，我的环境已经测试过了，简单来说，先安装GPT-SoVITS的环境，再直接pip intsall -r requirements_app.txt可以使用
除此之外，还需要根据原作者的说明放入对应路径，我的预训练模型和货架位置已给出，可参考https://huggingface。 co/Kedreamix/Linly-Talker
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --索引-url https://下载 .pytorch.org/whl/ cu118# 安装对应的依赖pip install -r VITS/requirements_gptsovits.txt#启动如下的WebUI界面python VITS/app.py Coqui XTTS
Coqui XTTS 是一个范例的深度学习文本到语音任务（TTS语音生成模型）工具包，通过使用一段5分钟以上的音频剪辑就可以完成声音克隆将语音克隆到不同的语言。支持多种语言文本到语音转换，使其成为国际化应用的理想选择，这一特点特别适用于全球化的市场，其中需要生成多种语言的语音内容。所以在实验过程中，我也加入了这一部分，不过暂时使用是默认的模型，并没有进行改装，个人认为没有GPT-SoVITS经过改装后就不错了，但是其中的少样本五个搭建语音还是值得夸奖的。大家也可以在官方的在线体验，但是官方的可能会有生成语音限制，文字不能太长，但是还是足够我们体验了。
🐸TTS 是一个用于高级文本转语音生成的库。
🚀 ;超过1100种语言的训练预模型。
🛠️用于任何以语言训练新模型和配置现有模型的工具。
📚使用于数据集分析和管理的实用程序。
在线体验XTTS https://huggingface.co/spaces/coqui/xtts官方Github库 https://github.com/coqui-ai/TTSXTTS的环境也需要PyTorch 2.1所以，如果下载了GPT-SoVITS，也感知一下XTTS的效果。
pip 安装 torch==2.1.0 torchvision==0.16 .0 torchaudio==2.1 span>.0 --index-url https://download.pytorch.org/whl/cu118# 安装对应的依赖pip install -r VITS/requirements_xtts.txt#启动如下的WebUI界面python VITS/XTTS。 pyLinly-Talker WebUI
很多之前我将个版本都是分开来的，实际上运行多个会比较麻烦，所以后续我增加了变成WebUI一个界面体验即可，后续不断更新
现在已加入WebUI的功能如下
文本/语音数字人对话（固定数字人，分男女角色）任意图片数字人对话（可上传任意数字人） 多轮GPT对话（加入历史对话）链接，上下文） 语音数据克隆对话（基于GPT-SoVITS设置进行语音克隆，内置烟）大声，可根据语音对话的声音进行克隆）# WebUIpython webui.py 数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS 原创由知识百科栏目发布，感谢您对的认可，以及对我们原创作品以及文章的青睐，非常欢迎各位朋友分享到个人网站或者朋友圈，但转载请说明文章出处“数字人的未来：数字人对话系统 Linly-Talker + 克隆语音 GPT-SoVITS 原创”
知识百科 热门文章
-
美团优选网络营销策略分析( 美团优选运营策略 )
2023-05-13 17:00:12 -
破晓抖音引流脚本(破解版抖音引流脚本)
2023-04-26 16:54:10 -
大疆网络营销策划方案( 大疆网络营销策划方案 )
2023-05-15 07:00:12 -
为什么抖音说我涉嫌引流( 抖音站外引流违规 )
2023-03-29 21:48:09 -
抖音热搜引流(抖音热搜推广)
2023-04-22 03:18:14