01、概述

在音樂和聲音的世界中，創作、編輯和轉換音樂和聲音一直是一項技術與創意并存的挑戰。當前的AI模型往往在多樣性上掙扎，它們擅長于狹窄的任務或缺乏有效泛化的能力。這限制了AI輔助制作的發展，并阻礙了創意的適應性。為了讓AI真正為音樂和音頻制作做出貢獻，它必須具備多樣性、作曲能力，并能響應創意提示，讓藝術家能夠創造出獨特的聲音。顯然，我們需要一個能夠駕馭音頻和文本交互細節、執行創意轉換并提供高質量輸出的通用模型。

02、NVIDIA Fugatto

NVIDIA推出了Fugatto，這是一個擁有25億參數的AI模型，專為生成和操控音樂、聲音和人聲而設計。Fugatto將文本提示與先進的音頻合成能力相結合，使聲音輸入變得高度靈活，便于創意實驗——比如將鋼琴線變成人聲歌唱，或者讓小號產生意想不到的聲音。

該模型支持文本和可選音頻輸入，使其能夠以超越傳統音頻生成模型的方式創造和操控聲音。這種多樣化的方法允許實時實驗，使藝術家和開發者能夠流暢地生成新類型的聲音或修改現有音頻。NVIDIA強調靈活性，使Fugatto在涉及復雜作曲轉換的任務上表現出色，成為藝術家和音頻制作人的寶貴工具。

03、技術細節

從技術角度來看，Fugatto采用了一種創新的數據生成方法，超越了傳統的監督學習。它的訓練不僅涉及常規數據集，還采用了專門的數據集生成技術，以創建廣泛的音頻和轉換任務。它使用大型語言模型（LLMs）來增強指令生成，使其更好地理解和解釋音頻和文本提示之間的關系。這種數據集豐富策略使Fugatto能夠從多樣化的上下文中學習，為多任務學習打下了堅實的基礎。

一個關鍵的創新是可組合音頻表示轉換（ComposableART），這是一種在推理時開發的技術，旨在將無分類器指導擴展到作曲指令。這使得Fugatto能夠平滑地組合、插值或否定不同的音頻生成指令，為聲音創造開辟了新的可能性。ComposableART提供了對合成的高級控制，允許用戶精確地導航Fugatto的聲音調色板，混合不同的聲音并生成獨特的聲音現象。

Fugatto的架構利用了經過特定修改的Transformer模型，如自適應層歸一化，這有助于在多樣化的輸入中保持一致性，并比現有模型更好地支持作曲指令。這意味著Fugatto能夠執行如歌唱合成、聲音轉換和效果操控等任務，使其適用于廣泛的音頻應用。

04、Fugatto的多樣性

Fugatto的多樣性在于其能夠在創意和技術的交匯點上執行任務。傳統的專業模型通常需要手動干預或狹窄定義的任務，往往缺乏創意實驗所需的靈活性。然而，Fugatto可以適應多種用途，這使其在音頻創作領域的實用性脫穎而出。Fugatto的早期測試表明，它在常見基準測試中與其他專業模型表現相當，但其真正的優勢在于新興能力。

Fugatto的評估表明，與專業模型相比，其在音頻合成和轉換方面的性能具有競爭力或更優越。當任務是合成新聲音或遵循作曲指令時，Fugatto超越了幾個基準。例如，它展示了創造新聲音的能力，如合成具有不尋常特征的薩克斯管或生成與背景音景平滑融合的語音——這些任務對其他模型來說以前是具有挑戰性的。

此外，Fugatto生成新興聲音——超出典型訓練數據的聲音現象——為創意聲音設計開辟了新的可能性。其使用ComposableART進行作曲合成意味著用戶可以動態合并多個屬性，使其成為尋求創意控制的音頻制作人的寶貴工具。

05、結語

Fugatto是音頻生成AI的一個重要進步，提供了挑戰傳統限制和增強創意聲音操控的能力。NVIDIA將大型語言模型與聲音和音樂的復雜性相結合，打造出一個強大且多功能的工具。Fugatto能夠處理細膩的音頻任務，從簡單的聲動生成到復雜的作曲修改，使其成為創意AI工具未來的寶貴貢獻。這一模型不僅對藝術家具有重要意義，對游戲、娛樂和教育等行業也具有重大影響，AI工具在這些領域越來越多地支持和激發人類創造力。

參考：

1. ??https://d1qx31qr3h6wln.cloudfront.net/publications/FUGATTO.pdf??
2. ??https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/??

本文轉載自公眾號Halo咯咯 作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/l3P6_pxPr1o5Uhcw-1EkmQ??