大型語言模型傾向于“虛構(gòu)”不存在的代碼包，這可能會(huì)成為一種新型供應(yīng)鏈攻擊的基礎(chǔ)，這種攻擊被賽斯·拉森(Seth Larson，Python軟件基金會(huì)的駐場安全開發(fā)人員)稱為“slopsquatting”。

一種已知現(xiàn)象

如今，許多軟件開發(fā)人員使用大型語言模型(LLM)來輔助編程，然而，不幸的是，LLM在回答各種話題的問題時(shí)，會(huì)編造事實(shí)并自信地呈現(xiàn)出來，這一已知傾向也延伸到了編碼領(lǐng)域。這種情況已為人所知一段時(shí)間了。一些研究人員之前已經(jīng)注意到，LLM偶爾會(huì)推薦不存在的軟件庫和包，并認(rèn)為這種傾向可能會(huì)被攻擊者利用，以這些名稱創(chuàng)建惡意包，并在PyPI(適用于Python)和npm(適用于JavaScript)等流行的代碼存儲(chǔ)庫中提供下載。

“這些包的虛構(gòu)，是在使用LLM生成代碼時(shí)出現(xiàn)事實(shí)沖突錯(cuò)誤而產(chǎn)生的，代表了一種新型的包混淆攻擊，對軟件供應(yīng)鏈的完整性構(gòu)成了嚴(yán)重威脅，”來自德克薩斯大學(xué)圣安東尼奧分校、俄克拉荷馬大學(xué)和弗吉尼亞理工學(xué)院的一組研究人員指出。

潛在的惡作劇

該團(tuán)隊(duì)決定檢查包虛構(gòu)問題的嚴(yán)重程度，為此，他們測試了16個(gè)代碼生成AI模型(GPT-4、Claude、CodeLlama、DeepSeek Coder、Mistral等)，使用了兩個(gè)獨(dú)特的提示數(shù)據(jù)集。LLM提供了576000個(gè)Python和JavaScript代碼樣本，其中推薦的包中，近20%是不存在的。為了確定LLM是否會(huì)反復(fù)虛構(gòu)相同的包，研究人員使用了一個(gè)包含500個(gè)生成包虛構(gòu)提示的隨機(jī)樣本，并對每個(gè)提示重復(fù)了10次查詢。

結(jié)果如何?“當(dāng)用同一個(gè)生成了虛構(gòu)的包的提示反復(fù)查詢模型時(shí)：43%的虛構(gòu)包在所有10次查詢中都被重復(fù)，而39%的虛構(gòu)包在10次查詢中根本沒有重復(fù)?！薄按送猓?8%的情況下，一個(gè)虛構(gòu)的包在10次迭代中會(huì)被重復(fù)一次以上，這表明大多數(shù)虛構(gòu)并非僅僅是隨機(jī)錯(cuò)誤，而是一種在多次迭代中持續(xù)存在的可重復(fù)現(xiàn)象，”他們指出。“這一點(diǎn)很重要，因?yàn)槌掷m(xù)的虛構(gòu)對試圖利用這一漏洞的惡意行為者來說更有價(jià)值，并使虛構(gòu)攻擊向量成為一個(gè)更可行的威脅?！?/p>

雖然大多數(shù)模型在許多情況下能夠檢測到自己的虛構(gòu)，但問題在于，有許多開發(fā)人員使用AI模型來輔助組裝程序，并信任其提供的代碼。

“比如說，我讓ChatGPT幫我寫一些代碼，它寫了?，F(xiàn)在，假設(shè)在生成的代碼中它包含了一個(gè)包的鏈接，我信任它并運(yùn)行了代碼，但這個(gè)包不存在，它是一個(gè)虛構(gòu)的包。一個(gè)敏銳的對手/黑客可能會(huì)看到LLM的這種行為(LLM告訴人們使用這個(gè)不存在的包，這個(gè)虛構(gòu)的包)，并意識到這一點(diǎn)。然后，對手就可以簡單地用與LLM推薦的虛構(gòu)包(名稱相同)創(chuàng)建一個(gè)新包，并在其中注入一些惡意代碼，”德克薩斯大學(xué)圣安東尼奧分校計(jì)算機(jī)科學(xué)系的副教授穆爾圖扎·賈德瓦拉(Murtuza Jadliwala)博士說。“現(xiàn)在，當(dāng)下一次LLM在生成的代碼中推薦相同的包時(shí)，一個(gè)毫無戒心的用戶執(zhí)行了代碼，這個(gè)惡意包就會(huì)被下載并在用戶的機(jī)器上執(zhí)行?！?/p>

最小化包虛構(gòu)

研究人員認(rèn)為，也許許多虛構(gòu)的包在之前存在過，被包含在模型的預(yù)訓(xùn)練數(shù)據(jù)中，并在此期間被刪除了，于是他們對此進(jìn)行了調(diào)查，并發(fā)現(xiàn)已刪除的包是他們觀察到的包虛構(gòu)現(xiàn)象的“可忽略的來源”。他們還發(fā)現(xiàn)，跨語言虛構(gòu)(例如，當(dāng)一種編程語言中的一個(gè)虛構(gòu)的包具有另一種編程語言中現(xiàn)有包的名稱時(shí))在搜索JavaScript包時(shí)更容易發(fā)生。最后，雖然大多數(shù)虛構(gòu)的包的名字與現(xiàn)有包的名字“有實(shí)質(zhì)性差異”，但這些名字通常很有說服力，并且符合上下文。

研究人員已提出了一些建議，以幫助LLM創(chuàng)建者在代碼生成過程中減少包虛構(gòu)，但對于利用LLM的個(gè)人編碼人員來說，一般建議是，在包含提供的代碼之前，先檢查推薦的包。