由大型語言模型(LLM)驅(qū)動的流行AI聊天機器人往往無法就任何主題提供準確的信息，但研究人員預(yù)計，威脅行為者將加大努力，誘使這些聊天機器人輸出可能對他們有利的信息，如釣魚網(wǎng)址和虛假下載頁面。

呈現(xiàn)錯誤且可能惡意的URL

通過SEO投毒和惡意廣告，使用Google或其他搜索引擎搜索登錄頁面和軟件已變得如同雷區(qū)：如果你不知道如何識別假冒/偽裝網(wǎng)站，你的憑據(jù)將被盜取，設(shè)備也將被感染。

部分由于這個原因，部分由于搜索引擎在展示相關(guān)信息方面表現(xiàn)不佳，用戶開始慢慢轉(zhuǎn)向AI聊天機器人獲取信息。

就目前而言，這些聊天機器人的結(jié)果可能更為切題且提供得更快，但所提供的信息往往不準確，原因可能是大型語言模型出錯/被欺騙，或者它直接“編造”(即，虛構(gòu))了答案。

舉例來說：Netcraft研究人員最近要求由GPT-4.1系列模型驅(qū)動的聊天機器人展示50個不同品牌(涵蓋金融、零售、科技和公用事業(yè)等行業(yè))的登錄頁面，結(jié)果它們在66%的情況下給出了正確答案。

但返回的域名中有5%屬于無關(guān)但合法的企業(yè)，而高達29%(即28個域名)的域名未注冊、已停放或沒有活躍內(nèi)容。

“這意味著，所有建議的域名中有34%并非品牌所有，且可能有害，更糟糕的是，許多未注冊的域名很容易被攻擊者認領(lǐng)并用作惡意用途，這為大規(guī)模釣魚活動打開了大門，而這些活動間接得到了用戶信任的AI工具的認可。”他們指出。

流行的搜索引擎也已開始提供同樣不可靠的AI驅(qū)動搜索結(jié)果，有時這些結(jié)果會直接將用戶引導至冒充知名品牌的釣魚頁面(例如，Wells Fargo)。

更糟糕的是，AI生成的答案常常剝離了傳統(tǒng)的驗證指標，如已驗證的域名或搜索摘要。“用戶被訓練去信任答案，而如果答案錯誤，攻擊者就會利用用戶，”研究人員指出。

攻擊者正積極嘗試污染AI聊天機器人的結(jié)果

不良鏈接的出現(xiàn)最初可能很少見，但威脅行為者正竭盡全力使這種情況更頻繁地發(fā)生，并積極嘗試污染生成式AI聊天機器人提供的結(jié)果。

他們正在設(shè)計將被聊天機器人的語言模型高度排名的頁面：這些頁面看起來合法，提供正確的文檔，偽裝成支持中心等。

“這些網(wǎng)站干凈、快速，且在語言上針對AI消費進行了優(yōu)化，它們對人類來說看起來很棒——對機器來說則不可抗拒。”研究人員指出。

“而且這不僅僅是釣魚。我們經(jīng)常看到通過‘破解軟件’博客、教程和討論帖子分發(fā)惡意軟件。隨著AI搜索的興起，這些舊的傳播途徑可能會煥發(fā)新生——不是通過關(guān)鍵詞操作，而是通過語言流暢性。”

盡管有防止獲取不良/惡意代碼的安全措施，但AI驅(qū)動的編程助手也可能以同樣的方式被威脅行為者“操縱”，他們不僅發(fā)布不良代碼(例如，假冒的API)，還努力附上可信的內(nèi)容(教程、論壇問答)，并使用可信的GitHub和社交媒體賬戶進行推廣。