網(wǎng)絡(luò)安全公司 SlashNext 發(fā)現(xiàn)，如今的 AI 聊天機器人出現(xiàn)了一種令人擔憂的情況。有用戶利用AI聊天機器人系統(tǒng)漏洞進行"越獄"操作，這違反了道德準則和網(wǎng)絡(luò)安全協(xié)議。

ChatGPT曾因其先進的對話能力而聲名鵲起，然而有一些用戶發(fā)現(xiàn)了能夠繞過其系統(tǒng)內(nèi)置的安全措施的弱點。如果有人可以操縱聊天機器人提示系統(tǒng)，那就能發(fā)布一些未經(jīng)審查和監(jiān)管的內(nèi)容，這引發(fā)了道德問題。

AI聊天機器人 "越獄 "涉及發(fā)布特定命令或敘述，可觸發(fā)無限制模式，使AI能夠不受約束地做出反應(yīng)。網(wǎng)上一些討論社區(qū)中已經(jīng)有人在分享這些越獄的策略和戰(zhàn)術(shù)。

Critical Start 公司網(wǎng)絡(luò)威脅研究高級經(jīng)理 Callie Guenther 說：這些平臺是用戶分享越獄策略、戰(zhàn)略和提示的協(xié)作空間，以充分發(fā)揮人工智能系統(tǒng)的潛力。雖然這些社區(qū)的主要動力是探索和推動人工智能的發(fā)展，但必須注意到事情的兩面性。

SlashNext解釋說，這種趨勢也引起了網(wǎng)絡(luò)犯罪分子的注意，他們開發(fā)了一些可以利用定制的大型語言模型（LLM）達到惡意目的工具。

研究表明，除了 WormGPT 以外，這些工具大多只是連接到越獄版的公共聊天機器人，能夠允許用戶在保持匿名的情況下利用AI生成一些內(nèi)容。

隨著AI技術(shù)的不斷進步，人們對AI越獄的安全性和道德影響的擔憂與日俱增。防御安全團隊在這方面希望能實現(xiàn)以下兩個目標：

• Darktrace 戰(zhàn)略網(wǎng)絡(luò)人工智能副總裁 Nicole Carignan 說，首先他們可以協(xié)助研究如何保護 LLM 免受基于提示的注入，并與社區(qū)分享這些經(jīng)驗。
• 其次，他們可以利用人工智能大規(guī)模防御更復(fù)雜的社交工程攻擊。要想在進攻型人工智能時代有效地保護系統(tǒng)，就需要不斷壯大防御型人工智能武器庫，而我們已經(jīng)在這方面取得了重大進展。

據(jù) SlashNext 報道，OpenAI 等組織正在采取積極措施，通過漏洞評估和訪問控制來加強聊天機器人的安全性。

研究人員目前正在探索更加有效的策略來強化聊天機器人的安全性，以防止其被那些惡意行為者所利用。AI安全仍處于早期階段，Darktrace方面未來的目標是開發(fā)出能夠抵御試圖破壞其安全的聊天機器人，同時繼續(xù)為用戶提供有價值的服務(wù)。