CosyVoice是通義實(shí)驗(yàn)室依托大規(guī)模預(yù)訓(xùn)練語言模型，深度融合文本理解和語音生成的新一代生成式語音合成大模型，支持文本至語音的實(shí)時(shí)流式合成?？梢詰?yīng)用于：

智能設(shè)備/機(jī)器人播報(bào)的語音內(nèi)容，如智能客服機(jī)器人、智能音箱、數(shù)字人、語音助手等。

音視頻創(chuàng)作中需要將文字轉(zhuǎn)為語音播報(bào)的場(chǎng)景，如小說閱讀、新聞播報(bào)、影視解說、劇本配音等。

CosyVoice則專注自然語音生成，支持多語言、音色和情感控制，支持中英日粵韓5種語言的生成，效果顯著優(yōu)于傳統(tǒng)語音生成模型。

僅需要3~10s的原始音頻，CosyVoice即可生成模擬音色，甚至包括韻律、情感等細(xì)節(jié)，包括跨語種語音生成。而且CosyVoice支持以富文本或自然語言的形式，對(duì)生成語音的情感、韻律進(jìn)行細(xì)粒度的控制，生音頻在情感表現(xiàn)力上得到明顯提升。

CosyVoice是一款基于語音量化編碼的語音生成大模型。它對(duì)語音進(jìn)行離散化編碼，并依托大模型技術(shù)，實(shí)現(xiàn)自然流暢的語音生成體驗(yàn)。與傳統(tǒng)語音生成技術(shù)相比，CosyVoice具有韻律自然、音色逼真等特點(diǎn)。CosyVoice支持多達(dá)5種語言，同時(shí)還支持以自然語言或富文本形式對(duì)生成語音進(jìn)行情感等維度的細(xì)粒度控制。研究團(tuán)隊(duì)提供了基模型CosyVoice-300M、經(jīng)過SFT微調(diào)后的模型CosyVoice-300M-SFT、以及支持細(xì)粒度控制的模型CosyVoice-300M-Instruct，可滿足不同場(chǎng)景下的使用需求。

通過與原始音頻以及最近大火的ChatTTS對(duì)比，可以發(fā)現(xiàn)CosyVoice的合成音頻在內(nèi)容一致性上更高，并且沒有很少存在幻覺額外多字的現(xiàn)象。CosyVoice很好地建模了合成文本中的語義信息，達(dá)到了與人類發(fā)音人相當(dāng)?shù)乃?。此外，通過對(duì)合成音頻進(jìn)行重打分，能夠進(jìn)一步降低識(shí)別的錯(cuò)誤率，甚至在內(nèi)容一致性和說話人相似度上超越人類。（文件包有預(yù)合成演示音頻，可自行聽?。?/p>

使用說明

1.選擇推理模式

2.點(diǎn)擊骰子按鈕(可選)，可以改變說話人的語調(diào)和韻律

3.按照提示步驟進(jìn)行操作

稍微等待一下，程序就處理完畢了，可以在頁(yè)面底部的輸出音頻界面播放和下載合成后的語音

注意事項(xiàng)

①項(xiàng)目安裝路徑不要包含中文

②推薦使用GTX1060以上顯卡運(yùn)行此項(xiàng)目

③使用過程中若不慎關(guān)閉軟件后臺(tái)，請(qǐng)重新打開，并刷新網(wǎng)頁(yè)

更新內(nèi)容：

1、新增手動(dòng)選擇參考音頻列表

將需要克隆的參考音頻拷貝到軟件根目錄下的 “參考音頻” 文件夾，并將文件名改名為音頻說話內(nèi)容，如下圖

點(diǎn)擊“刷新參考音頻”即可。

2、自定義音色保存

克隆音色生成后，在下方輸入音色名稱，保存即可。如上圖。

比如我們將克隆后的“大冪冪”的音色保存下來，這里輸入 大冪冪

保存后，點(diǎn)這里的“刷新新增音色”

即可在新增音色里找到我們剛才克隆的“大冪冪”的音色

后期需要使用這個(gè)音色生成音頻，就直接在這里選擇“大冪冪”即可。

更新日志

增加了 triton trtllm 運(yùn)行時(shí)支持和 cosyvoice2 grpo 訓(xùn)練支持