2025年5月，NVIDIA重磅發布其全新一代自動語音識別（ASR）模型 ——Parakeet TDT 0.6B-v2。該模型具備 0.6B參數，采用CC-BY-4.0商用開源許可協議，并以 實時因子（RTF）達3386 的驚人速度刷新行業紀錄，標志著語音AI進入一個全新的高性能、低延遲時代。

1.核心優勢

強大模型規模：600M參數的編碼-解碼結構，結合FastConformer與Transducer Decoder Transformer (TDT) 架構。

• 極速處理能力：在NVIDIA硬件上，能在1秒內轉錄60分鐘音頻，速度超過多數ASR模型50倍以上。
• 領先的轉錄準確率：在Hugging Face的Open ASR排行榜上以6.05%的詞錯誤率（WER） 位居開源模型第一。
• 商用許可友好：采用CC-BY-4.0許可，允許在商業項目中自由使用與修改。

Parakeet 的能力遠不止于此。它不僅能精準地還原語音內容，還支持包括標點恢復、大小寫格式化、數字規范化等在內的多項語義層面的增強處理，使得輸出文本更符合自然語言的表達習慣，便于閱讀和進一步的自然語言處理。在眾多實際場景中，如法律記錄、醫療語音轉寫、會議紀要等，這些細節功能往往決定了模型的實際可用性。此外，Parakeet 還創新性地支持“歌曲轉歌詞”的功能，拓展了其在媒體內容處理、音樂平臺檢索等方面的潛力。

2.技術特點

Parakeet TDT 0.6B-v2融合了多項前沿優化技術：

• 模型結構：編碼器使用FastConformer，解碼器為TDT，適合并發處理和大批量推理。
• 推理優化：通過 TensorRT和FP8量化技術實現了極致加速。
• 語音格式增強：內建數字格式化、時間戳標注和標點修復，大幅提升可讀性。
• 創新功能：罕見支持“歌曲轉歌詞”功能，拓展至音樂和媒體應用場景。
• 這一代模型不僅速度快，而且保持高準確性和強泛化能力，在多個公開英語語音識別基準（如 AMI、GigaSpeech、Earnings22、SPGISpeech）中均表現優異，甚至在電話語音、噪聲環境下依然保持穩定性能。

Parakeet TDT 0.6B-v2基于Granary的多源語音語料庫進行訓練，總計約 12萬小時的英語音頻，其中包括1萬小時人工標注數據，11萬小時高質量偽標簽語音。數據源涵蓋LibriSpeech、Common Voice、YouTube-Commons、Librilight等。NVIDIA 計劃在2025年Interspeech大會上公開Granary語料庫，進一步促進語音AI領域的數據共享與模型復現。

從工程角度看，Parakeet TDT 0.6B-v2對硬件的適配也做得非常出色。雖然在高端GPU上表現最佳，但即使是在低至2GB內存的設備上，也可以加載模型并運行較小規模的任務。這種靈活性使其既適合大型云平臺的批量轉寫需求，也能服務于邊緣設備上的實時語音識別。

3.術語

在理解 Parakeet TDT 0.6B-v2 的技術優勢時，可能會遇到一些專業術語。為了方便讀者深入了解，簡要解釋幾個核心概念：

FastConformer編碼器是一種高效的語音建模架構，它融合了Transformer 的全局注意力機制與卷積網絡的局部建模能力，能在保證準確率的同時提升處理長語音的速度和效率。

Transducer Decoder Transformer（TDT）架構則結合了傳統Transducer 在流式語音識別中的高效性和Transformer在語言理解中的優勢，使模型既能快速響應，又不失上下文的理解能力。

最后，RTF（Real-Time Factor）實時因子 是衡量語音識別速度的一個指標。RTF = 1表示模型剛好可以實時識別音頻，而 Parakeet實現的 RTF = 3386，意味著它能以 3386 倍于音頻實際長度的速度完成識別，代表了當前開源模型中的極致速度。

本文轉載自???魯班模錘???，作者：龐德公