OpenAI近日發(fā)布的GPT-4o多模態(tài)大語言模型震驚了世界，該模型可以通過傳感器感知世界并與人類通過語音進(jìn)行無縫交流，完成各種復(fù)雜任務(wù)(例如給孩子輔導(dǎo)數(shù)學(xué))，將科幻電影中的智能機(jī)器人場景帶入現(xiàn)實(shí)。

GPT-4o的問世標(biāo)志著大語言模型與人類交互的主要渠道正從鍵盤/文本轉(zhuǎn)向語音，能夠遵循語音指令并生成文本/語音響應(yīng)的集成式語音和大語言模型(SLM)越來越受歡迎。蘋果Siri、亞馬遜Alexa等可與大語言模型整合的語音智能助理也將迎來第二春。但與此同時(shí)，一個新的人工智能安全風(fēng)險(xiǎn)也正浮出水面：對抗性語音攻擊。

語音大模型的致命漏洞

近日，亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)的研究人員發(fā)布了一項(xiàng)新研究，揭示了能夠理解和回應(yīng)語音的多模態(tài)大語言模型存在重大安全漏洞。該論文題為《SpeechGuard：探索多模態(tài)大語言模型的對抗魯棒性》，詳細(xì)描述了這些AI系統(tǒng)如何被精心設(shè)計(jì)的音頻攻擊操控，進(jìn)而生成有害、危險(xiǎn)或不道德的響應(yīng)。

語音接口已經(jīng)在智能音箱和AI助手(例如蘋果的Siri和亞馬遜的Alexa)中普及，隨著功能強(qiáng)大的大語言模型也開始依賴語音接口執(zhí)行復(fù)雜任務(wù)，確保語音大模型技術(shù)的安全性和可靠性變得空前緊迫起來。

AWS的研究人員發(fā)現(xiàn)，即使內(nèi)置了安全檢查，語音大模型在“對抗性攻擊”面前表現(xiàn)得極為脆弱。這些攻擊通過對音頻輸入進(jìn)行人類難以察覺的微小篡改，就能完全改變大模型的行為(越獄)。

研究論文中的一幅圖示(上圖)展示了一個語音問答AI系統(tǒng)在遭受對抗性攻擊時(shí)，如何被操控以提供不道德或者非法內(nèi)容，例如如何搶劫銀行。研究人員提出了一種預(yù)處理防御方法，以緩解基于語音的大模型中的此類漏洞(圖片來源：arxiv.org)。

攻擊成功率高達(dá)90%

研究者設(shè)計(jì)了一種算法，可以在白盒攻擊(攻擊者擁有有關(guān)目標(biāo)模型的所有信息，例如其架構(gòu)和訓(xùn)練數(shù)據(jù))和黑盒攻擊(攻擊者僅能訪問目標(biāo)模型的輸入和輸出，而不知道其內(nèi)部工作原理)設(shè)置下生成對抗性樣本，實(shí)現(xiàn)無需人工干預(yù)的語音大模型越獄。

“我們的越獄實(shí)驗(yàn)展示了語音大模型在對抗性攻擊/白盒攻擊和轉(zhuǎn)移攻擊/黑盒攻擊面前是多么脆弱。基于精心設(shè)計(jì)的有害問題數(shù)據(jù)集進(jìn)行評估時(shí)，平均攻擊成功率分別為90%(對抗性攻擊/白盒攻擊)和10%(轉(zhuǎn)移攻擊/黑盒攻擊)。”論文作者寫道：“這引發(fā)了關(guān)于不法分子者可能大規(guī)模利用語音大模型的嚴(yán)重?fù)?dān)憂?！?/p>

通過一種名為投影梯度下降(PGD)的方法，研究人員能夠生成對抗性樣本，成功使語音大模型輸出了12個不同類型的有害內(nèi)容，包括暴力內(nèi)容和仇恨言論。令人震驚的是，在能夠完全訪問模型的情況下，研究者突破模型安全壁壘的成功率高達(dá)90%。

研究者展示了如何在不同的語音大模型上進(jìn)行對抗性攻擊，使用跨模型和交叉提示攻擊等技術(shù)來引發(fā)意想不到的響應(yīng)

黑盒攻擊：對現(xiàn)實(shí)世界構(gòu)成威脅

更令人擔(dān)憂的是，研究顯示，在一個語音大模型上設(shè)計(jì)的音頻攻擊往往可復(fù)用到其他模型，即使沒有直接訪問權(quán)限(這是一個現(xiàn)實(shí)的場景，因?yàn)榇蠖鄶?shù)商業(yè)大模型提供商僅允許有限的API訪問)。雖然黑盒攻擊的成功率下降到10%，但這仍然是一個嚴(yán)重的漏洞。

該論文的主要作者Raghuveer Peri指出：“對抗性語音攻擊在不同模型架構(gòu)間的可復(fù)用性表明，這不僅是特定實(shí)現(xiàn)的問題，而是我們目前訓(xùn)練人工智能系統(tǒng)以確保其安全和對齊的方法存在更深層次的缺陷。”

隨著企業(yè)越來越依賴語音AI提供客戶服務(wù)、數(shù)據(jù)分析和其他核心功能，對抗性語音攻擊的影響是廣泛而深遠(yuǎn)的。除了AI失控可能帶來的聲譽(yù)損害之外，對抗性攻擊還可能被用于欺詐、間諜活動，甚至如果與自動化系統(tǒng)連接，還可能帶來物理傷害。

應(yīng)對措施與未來之路

研究人員還提出了幾種應(yīng)對措施，例如在音頻輸入中添加隨機(jī)噪聲——一種隨機(jī)平滑技術(shù)。在實(shí)驗(yàn)中，該方法顯著降低了攻擊成功率。然而，作者警告稱，這并不是一個完善的解決方案。

“防御對抗性攻擊是一場持續(xù)的軍備競賽，”Peri指出：“隨著大模型的能力不斷增強(qiáng)，其被濫用的可能性也在不斷增加。人工智能公司需要持續(xù)投資確保大模型在對抗性攻擊中能夠保持安全性和可靠性?！?/p>

研究使用的語音大模型通過對話數(shù)據(jù)進(jìn)行訓(xùn)練，以在語音問答任務(wù)中達(dá)到最先進(jìn)的性能，在攻擊前的安全性和可靠性基準(zhǔn)均超過了80%。這凸顯了隨著技術(shù)進(jìn)步，人工智能系統(tǒng)的功能與安全能力已經(jīng)失衡。

隨著全球科技巨頭爭先恐后開發(fā)和部署越來越強(qiáng)大的語音AI，亞馬遜的安全研究及時(shí)敲響了警鐘，安全必須成為發(fā)展AI的首要任務(wù)，而不是馬后炮。監(jiān)管機(jī)構(gòu)和IT行業(yè)需要共同努力，建立嚴(yán)格的標(biāo)準(zhǔn)和測試協(xié)議。

正如論文共同作者Katrin Kirchhoff所言：“我們正處于AI技術(shù)的拐點(diǎn)。AI具有極大的潛力并為社會帶來價(jià)值，但如果不負(fù)責(zé)任地開發(fā)，也可能帶來危害。這項(xiàng)研究是確保我們在享受語音AI帶來的好處的同時(shí)，做到風(fēng)險(xiǎn)可控。”