雖然我不習(xí)慣把研究作為博客的素材，但我確實(shí)注意到以下情況：Vulcan Cyber的Voyager18研究團(tuán)隊(duì)最近發(fā)布了一份咨詢報(bào)告驗(yàn)證了生成性人工智能，如ChatGPT，將迅速變成一種武器，并準(zhǔn)備攻擊你附近的云端系統(tǒng)。大多數(shù)云計(jì)算業(yè)內(nèi)人士都在等待這一刻。

新的攻擊方式

一種使用OpenAI語言模型ChatGPT的新的攻擊技術(shù)已經(jīng)出現(xiàn)，攻擊者正在開發(fā)者的環(huán)境中傳播惡意軟件包。專家們看到ChatGPT生成了不存在的URL、引用、代碼庫和函數(shù)。根據(jù)該報(bào)告，這些“幻覺”可能來自舊的訓(xùn)練數(shù)據(jù)。通過ChatGPT的代碼生成能力，攻擊者可以利用捏造的代碼庫（包）進(jìn)行惡意傳播，也繞過了傳統(tǒng)的方法，如tynosquatting。

搶注域名（Typosquatting），也稱為URL劫持或域名模仿，是指?jìng)€(gè)人或組織注冊(cè)類似于流行或合法網(wǎng)站的域名，但有輕微排版錯(cuò)誤的做法。其目的是欺騙那些在輸入U(xiǎn)RL時(shí)出現(xiàn)同樣錯(cuò)字的用戶。

另一種攻擊是向ChatGPT提出一個(gè)問題，要求用一個(gè)軟件包來解決一個(gè)特定的編碼問題，然后收到多個(gè)包的推薦，其中包括一些沒有在合法存儲(chǔ)庫中發(fā)布的包。通過用惡意軟件包替換這些不存在的軟件包，攻擊者可以欺騙未來依賴ChatGPT推薦的用戶。一個(gè)利用ChatGPT 3.5的概念證明了潛在的風(fēng)險(xiǎn)。

當(dāng)然，有一些方法可以抵御這種類型的攻擊。開發(fā)人員應(yīng)該通過檢查創(chuàng)建日期和下載次數(shù)來仔細(xì)審查代碼庫。然而，既然我們處理了這種威脅，我們將永遠(yuǎn)對(duì)可疑的軟件包持懷疑態(tài)度。

應(yīng)對(duì)新的威脅

這個(gè)標(biāo)題并不是說這種新威脅目前就存在，筆者認(rèn)為由生成式人工智能力量驅(qū)動(dòng)的新威脅出現(xiàn)只是時(shí)間問題。因此，必須有一些更好的方法來對(duì)抗這些類型的威脅，隨著有心人學(xué)會(huì)將生成式人工智能作為武器，這些威脅可能會(huì)變得更加普遍。

如果我們希望保持領(lǐng)先，我們不得不需要將生成式人工智能作為一種防御機(jī)制。這意味著從被動(dòng)反應(yīng)（現(xiàn)如今較為典型的企業(yè)方法）轉(zhuǎn)變?yōu)橹鲃?dòng)使用可觀察性和AI驅(qū)動(dòng)的安全系統(tǒng)等策略。

在AI技術(shù)飛速發(fā)展的情況下，企業(yè)面臨的挑戰(zhàn)往往是云安全問題，以及devsecops專業(yè)人員必須加強(qiáng)他們的程序，以便不受24小時(shí)新聞周期的影響。這意味著企業(yè)需要在許多IT預(yù)算被縮減的時(shí)候，增加對(duì)安全的投資。如果沒有積極應(yīng)對(duì)這些新出現(xiàn)的風(fēng)險(xiǎn)，企業(yè)可能不得不對(duì)重大漏洞的成本和影響付出代價(jià)。

當(dāng)然，安全專家的工作就是嚇唬人，讓企業(yè)在安全方面多花點(diǎn)錢，否則很可能發(fā)生比較嚴(yán)重的情況?？紤]到戰(zhàn)場(chǎng)性質(zhì)的變化和幾乎免費(fèi)的有效攻擊工具的可用性，企業(yè)的安全境地就有點(diǎn)嚴(yán)峻了。，當(dāng)我們了解到事情會(huì)有多糟糕時(shí)，Vulcan報(bào)告中提到的惡意人工智能包的幻覺也許是我在這里要介紹的第一順位。

有一線希望是，在大多數(shù)情況下，盡管有一些奇怪的大漏洞，云安全和IT安全專家比攻擊者更聰明，并且在過去幾年里一直保持著技術(shù)領(lǐng)先。但是，如果攻擊者不會(huì)變得更聰明，他們就不必更有創(chuàng)新性，而且了解如何將生成式人工智能付諸行動(dòng)以攻破高度防御的系統(tǒng)將成為新的游戲。你準(zhǔn)備好了嗎？

原文標(biāo)題：Malicious hackers are weaponizing generative AI

原文作者：David Linthicum