Dia-1.6B TTS：優秀的文本到對話生成模型原創

發布于 2025-5-22 07:00

瀏覽

0收藏

Dia-1.6B TTS是由Nari Labs開發的一款擁有16億個參數的文本轉語音模型（TTS）。本文將詳細介紹該模型，以及其訪問途徑、使用方法，并展示實際應用結果以真正了解該模型的功能。

你是否正在尋求一種合適的文本轉語音模型？擁有16億個參數的Dia-1.6B TTS模型或許是理想之選。令人驚訝的是，這款模型竟是由兩名本科生在毫無資金支持的情況下開發的。本文將介紹這款模型以及如何訪問與使用，并通過實際結果了解其強大的功能。在使用該模型之前，首先了解其基本情況。

Dia-1.6B是什么？

以文本作為輸入，自然語音作為輸出為目標的模型稱為文本到語音模型。Nari Labs開發的Dia-1.6B參數模型是文本到語音模型之一。這款模型具備根據文本生成高度逼真對話的能力，并支持非語言交流，例如笑聲、打噴嚏、吹口哨等，其強大的功能令人期待。

如何訪問Dia-1.6B？

用戶可以通過以下兩種方法訪問Dia-1.6B模型：

（1）在??Google Colab??中使用Hugging Face API?

（2）使用Hugging Face Spaces

第一種方法需要獲取API密鑰，然后將其與代碼集成到Google Colab中。第二種方法無需編程，支持交互式地使用Dia-1.6B。

1.使用Hugging Face和Google Colab

該模型可在Hugging Face上使用，可以在Google Colab筆記本（notebook）中的T4 GPU提供的10GB 內存（VRAM）的幫助下運行，可以通過一個簡短對話來演示其使用方法。

在開始之前，首先需要獲取Hugging Face訪問令牌，用于運行代碼。如果還沒有密鑰，可以訪問??https://huggingface.co/settings/token??s并生成一個密鑰。

確保啟用以下權限：

Dia-1.6B TTS：優秀的文本到對話生成模型-AI.x社區

在Google Colab中新建一個筆記本，并將其密鑰添加到secrets中（其名稱為HF_Token）：

Dia-1.6B TTS：優秀的文本到對話生成模型-AI.x社區

注：切換到T4 GPU運行這個筆記本。否則無法使用運行該模型所需的10GB內存。

接下來開始運行該模型：

（1）首先克隆Dia模型的Git存儲庫：

!git clone https://github.com/nari-labs/dia.git

（2）安裝本地軟件包：

pip install ./dia

（3）安裝soundfile音頻庫：

!pip install soundfile

在執行完上述命令后，重新啟動會話，然后再繼續。

（4）在安裝完成后，進行必要的導入并初始化模型：

import soundfile as sf
from dia.model import Dia
import IPython.display as ipd
model = Dia.from_pretrained("nari-labs/Dia-1.6B")

（5）初始化文本以進行文本到語音轉換：

text = "[S1] This is how Dia sounds. (laugh) [S2] Don't laugh too much. [S1] (clears throat) Do share your thoughts on the model."

（6）對模型運行推理：

output = model.generate(text)
sampling_rate = 44100 # Dia uses 44.1Khz sampling rate.
output_file="dia_sample.mp3"
sf.write(output_file, output, sampling_rate) # Saving the audio
ipd.Audio(output_file) # Displaying the audio

輸出的語音：

Dia-1.6B TTS：優秀的文本到對話生成模型-AI.x社區

??https://cdn.analyticsvidhya.com/wp-content/uploads/2025/05/dia_sample.mp3???

這段語音非常像人類的聲音，該模型在非語言交流方面表現優異。值得注意的是，由于沒有語音模板，其結果是不可復制的。

注：可以嘗試修復模型的種子以再現結果。

2.使用Hugging Face Spaces

可以嘗試通過Hugging Face Spaces來克隆語言。這里有一個直接使用模型的在線界面：??https://huggingface.co/spaces/nari-labs/Dia-1.6B???

在這里可以傳遞輸入文本，另外也可以使用“音頻提示”來復制聲音。這里輸入了之前生成的音頻。

以下文本作為輸入：

[S1] Dia is an open weights text to dialogue model. 
[S2] You get full control over scripts and voices. 
[S1] Wow. Amazing. (laughs) 
[S2] Try it now on Git hub or Hugging Face.?

Dia-1.6B TTS：優秀的文本到對話生成模型-AI.x社區

??https://cdn.analyticsvidhya.com/wp-content/uploads/2025/05/audio.wav???

你可以進行評判，你認為這個模型是否成功捕捉并復制了之前的語音？

注：在使用Hugging Face Spaces生成語音時出現了多個錯誤，可以嘗試更改輸入文本或音頻提示以使該模型正常工作。

使用Dia-1.6B時的注意事項

在使用Dia-1.6B模型時，應該注意以下幾點：

該模型沒有針對特定的聲音進行微調。每次運行都會有不同的聲音。可以嘗試修復模型的種子以重現結果。
Dia模型使用44.1kHz采樣率。
在安裝庫后，需要確保重新啟動Colab筆記本。
在使用Hugging Face Spaces生成語音時出現了多個錯誤，可以嘗試更改輸入文本或音頻提示以使模型工作。

結論

Dia-1.6B模型的輸出結果令人期待，尤其是與競爭對手相比。其最大優勢在于支持廣泛的非語言交流。該模型具有獨特的語調，聲音也令人感覺很自然，但是由于沒有針對特定語音進行微調，可能難以復現特定語音。與其他生成式人工智能工具一樣，人們應該負責任地使用這種模型。

常見問題解答

問題1：在對話中只能有兩個對話者嗎？

答：對話并不局限于只有兩個對話者。雖然兩個人的對話（如[S1]和[S2]）比較常見，但可以通過標記為[S1]、[S2]、[S3]等方式增加更多對話人。這在模擬小組對話、訪談或多方對話時特別有用。只要確保在提示中清楚地指出誰在說話，Dia-1.6B模型就可以正確地跟隨并為每個對話者生成連貫的回復。這種靈活性允許更動態和上下文豐富的交互。