所有人工智能項目在某種程度上都存在一些風(fēng)險，生成式人工智能的快速增長和部署凸顯了安全控制措施的局限性，同時也開辟了新的脆弱性。

如果市場研究表明人工智能的使用方向，那么首席信息安全官可以預(yù)期70%的企業(yè)將通過使用ChatGPT來探索生成式人工智能。調(diào)研機構(gòu)普華永道公司在今年5月發(fā)布的一份研究報告表明，幾乎所有的商界領(lǐng)袖都表示，他們的公司在短期內(nèi)至少優(yōu)先考慮一項與人工智能系統(tǒng)有關(guān)的舉措。

生成式人工智能出現(xiàn)了投資熱潮。調(diào)研機構(gòu)高盛公司預(yù)測，生成式人工智能可以將全球GDP提高7%。麥肯錫公司表示，人工智能的主要用例是客戶運營、營銷和銷售、研發(fā)和軟件工程。例如在軟件領(lǐng)域，根據(jù)全球戰(zhàn)略咨詢機構(gòu)Altman Solon公司進行的一項調(diào)查，近25%的科技公司已經(jīng)在使用人工智能進行軟件開發(fā)，另有66%的企業(yè)可能在2024年采用人工智能。

人工智能驅(qū)動網(wǎng)絡(luò)攻擊

根據(jù)Gartner公司進行的調(diào)查，68%的企業(yè)高管認為生成式人工智能的好處大于風(fēng)險，相比之下，只有5%的高管認為風(fēng)險大于好處。然而，Gartner公司的分析師Frances Karamouzis在報告中表示，隨著投資的深化，企業(yè)高管可能會開始轉(zhuǎn)變他們的觀點。Karamouzis說：“隨著企業(yè)開始開發(fā)和部署生成式人工智能，他們可能會遇到一系列信任、風(fēng)險、安全、隱私和道德問題。”

最新的風(fēng)險之一是提示注入攻擊，這是一個全新的企業(yè)威脅載體。Gartner公司的分析師Avivah Litan表示：“這是一種新的攻擊媒介，也是一種新的危害媒介，傳統(tǒng)的安全控制措施不夠好。”她表示，在其他情況下，聊天機器人用戶可以看到其他人的提示。

許多“越獄”的ChatGPT和其他大型語言模型的公開實例已經(jīng)被看到欺騙。它做了一些不應(yīng)該做的事情——例如編寫惡意軟件或提供炸彈制作方法。一旦企業(yè)開始推出自己的生成式人工智能，例如用于客戶服務(wù)的人工智能，“越獄”的ChatGPT可能會讓不良行為者訪問他人的賬戶或?qū)嵤┢渌泻π袨椤?/p>

今年早些時候，全球性安全組織OWASP發(fā)布了在大型語言模型中發(fā)現(xiàn)的十大嚴(yán)重漏洞列表，提示注入排在第一位。網(wǎng)絡(luò)攻擊者還可以利用這些大型語言模型來執(zhí)行惡意代碼、訪問受限資源或毒化訓(xùn)練數(shù)據(jù)。當(dāng)用戶自己部署模型時，他們可以在提示環(huán)境中設(shè)置防火墻，并在提示環(huán)境周圍采取可觀察性和異常檢測措施。Litan說，“用戶可以看到發(fā)生了什么，也可以建立控制。”

第三方供應(yīng)商不一定是這樣。即使供應(yīng)商對最初用于創(chuàng)建模型的訓(xùn)練數(shù)據(jù)有一流的安全控制，聊天機器人也需要訪問操作數(shù)據(jù)才能發(fā)揮作用。Litan說：“傳統(tǒng)的保護控制不適用于進入模型的數(shù)據(jù)和及時注入。把所有這些都保留在內(nèi)部部署設(shè)施確實很有意義，但必須將安全保護措施落實到位。”

降低使用人工智能帶來的數(shù)據(jù)暴露風(fēng)險

求職招聘網(wǎng)站Glassdoor公司對9000多名美國專業(yè)人士進行的一項調(diào)查表明，他們都很喜歡采用ChatGPT，80%的受訪者反對禁止這項技術(shù)。但是ChatGPT和類似的大型語言模型是基于它們與用戶的交互而不斷訓(xùn)練的。問題是，如果用戶請求幫助編輯一份充滿企業(yè)機密的文件，人工智能系統(tǒng)可能會了解到這些秘密，并在未來向其他用戶透露這些秘密。Forrester Research公司的分析師Jeff Pollard表示：“這些都是非常合理和現(xiàn)實的擔(dān)憂。”

Cyberhaven公司的首席安全官Chris Hodson表示：“我們已經(jīng)看到醫(yī)生將患者信息上傳到ChatGPT，以便為患者描述病情。”

Forrester公司的Pollard表示，專門為企業(yè)用戶設(shè)計的平臺確實很重視這個問題。他說：“他們對保留他人的數(shù)據(jù)不感興趣，因為他們明白這是采用的障礙。”

部署生成式人工智能最安全的方法是企業(yè)在自己的基礎(chǔ)設(shè)施上運行私有模型。然而，Altman Solon表示，這并不是最受歡迎的選擇，只有20%的企業(yè)更喜歡這一選擇。大約三分之一的企業(yè)選擇通過使用提供商自己的運營環(huán)境，利用公共基礎(chǔ)設(shè)施來部署生成式人工智能。這是最不安全的選擇，要求企業(yè)對生成式人工智能供應(yīng)商給予極大的信任。

很多企業(yè) (48%)部署在第三方云計算環(huán)境中，例如虛擬私有云。例如，微軟公司在其Azure云中為企業(yè)客戶提供安全并且隔離的ChatGPT部署。微軟公司聲稱，今年3月，已有1000多家企業(yè)客戶在Azure OpenAI服務(wù)上使用ChatGPT和其他OpenAI模型，到今年5月中旬，這一數(shù)字已增長到4500家。使用這項服務(wù)的企業(yè)包括梅賽德斯-奔馳、強生、AT&T、CarMax、DocuSign、沃爾沃以及宜家。

人工智能在治理和合規(guī)方面的風(fēng)險

生成式人工智能創(chuàng)紀(jì)錄的采用率遠遠超過了企業(yè)監(jiān)管這項技術(shù)的能力。禮德律師事務(wù)所(Reed Smith LLP)專注于網(wǎng)絡(luò)安全和機器學(xué)習(xí)的合伙人Gerry Stegmaier表示：“我認識的一些人采用ChatGPT工作，每周節(jié)省了大量時間，但這些人所在的企業(yè)卻不知道這一點。如今，員工在個人層面上的生產(chǎn)率正在大幅提高，但在很大程度上，企業(yè)高管并沒有意識到員工生產(chǎn)率的提高。”

根據(jù)Fishbowl公司在今年2月發(fā)布的一項調(diào)查報告，43%的專業(yè)人士使用過ChatGPT這樣的工具，但其中近70%的人是在企業(yè)高管不知情的情況下使用的。Stegmaier說，這意味著企業(yè)可能會以法律和監(jiān)管風(fēng)險的形式承擔(dān)技術(shù)債務(wù)，他們不知道也無法衡量這些債務(wù)。

Netskope公司最近的一份基于使用數(shù)據(jù)的報告表明，ChatGPT的使用量每月增長25%，大約1%的員工每天使用ChatGPT。因此，目前約有10%的企業(yè)禁止員工使用ChatGPT。

企業(yè)可能對員工的所作所為缺乏了解，此外還缺乏對法律法規(guī)的了解。Stegmaier說，“大型企業(yè)需要一定的可預(yù)測性，而目前的不確定性是不可估量的。”

知識產(chǎn)權(quán)和進入模型的訓(xùn)練數(shù)據(jù)存在不確定性，隱私和數(shù)據(jù)安全法規(guī)存在不確定性，新的法律和合規(guī)風(fēng)險一直在出現(xiàn)。例如，今年6月，OpenAI公司由于ChatGPT聲稱一名電臺主持人挪用資金而被起訴。OpenAI公司或其他公司由于其聊天機器人回答的內(nèi)容而被起訴，這些公司可能對機器人所說的內(nèi)容負責(zé)，也可能不負責(zé)。這取決于產(chǎn)品責(zé)任法的適用方式。Stegmaier說：“如果為了獲利，人們就會在他們的法律理論中發(fā)揮創(chuàng)造性。”

Stegmaier認為，關(guān)于軟件是否是一種產(chǎn)品的問題已經(jīng)發(fā)生了一些變化，潛在的影響可能是巨大的。也有可能出臺有關(guān)數(shù)據(jù)隱私的新法律，其中包括歐盟的《人工智能法案》。他預(yù)計美國在不久的將來并不會出臺類似的法律，因為很難達成共識，美國聯(lián)邦貿(mào)易委員會一直在發(fā)布有關(guān)人工智能的聲明。他表示：“人工智能對消費者、對企業(yè)、對監(jiān)管機構(gòu)都非常有吸引力。當(dāng)這三件事結(jié)合在一起時，往往會出現(xiàn)新的執(zhí)法或新的監(jiān)管活動。”

為了保持行業(yè)領(lǐng)先地位，他建議企業(yè)提高他們的生成式人工智能學(xué)習(xí)曲線，這樣他們就可以應(yīng)用他們目前的最佳實踐工具，包括隱私設(shè)計、安全設(shè)計和反歧視原則。Stegmaier表示：“就生成式人工智能而言，‘快速運行并打破現(xiàn)狀’在規(guī)模上不會是一種可接受的策略，尤其是對大型企業(yè)來說。”

不幸的是，根據(jù)部署的不同模型，企業(yè)可能很少或根本不了解生成式人工智能正在發(fā)生什么，即使他們知道它正在發(fā)生。例如，如果一名員工要求ChatGPT幫助給客戶寫信，那么ChatGPT將需要獲得有關(guān)客戶的一些信息，至少在提出答案時是這樣。這意味著在一段時間內(nèi)，數(shù)據(jù)將存儲在OpenAI公司的服務(wù)器上。此外，如果員工使用ChatGPT保存會話歷史記錄，則數(shù)據(jù)將無限期地保留在這些服務(wù)器上。

Insight Enterprises公司杰出工程師Carm Taglienti表示，在歐洲和其他有數(shù)據(jù)駐留法的司法管轄區(qū)，數(shù)據(jù)遷移問題尤為重要。他說：“人們并不真正了解它的去向，也不知道在提交的數(shù)據(jù)上發(fā)生了什么操作。一旦無法控制，它就成為了一個漏洞。”他建議，如果企業(yè)計劃使用生成式人工智能，他們應(yīng)該認真考慮需要采取的控制措施。他建議，可以從美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)的人工智能風(fēng)險管理框架開始。

在理想情況下，企業(yè)在選擇平臺之前應(yīng)該考慮治理問題。然而，根據(jù)畢馬威公司進行的一項調(diào)查，只有6%的企業(yè)有專門的團隊來評估生成人工智能的風(fēng)險并實施風(fēng)險遷移策略。此外，只有35%的企業(yè)高管表示，他們的公司計劃在未來12個月內(nèi)專注于改善人工智能系統(tǒng)的治理，只有32%的風(fēng)險專業(yè)人士表示，他們現(xiàn)在參與了生成式人工智能應(yīng)用的規(guī)劃和戰(zhàn)略階段。最后，只有5%的企業(yè)制定了成熟的負責(zé)任的人工智能治理計劃，盡管19%的企業(yè)正在制定這樣的計劃，近一半的企業(yè)表示將制定這樣的計劃。

企業(yè)首先應(yīng)該做什么?Omdia公司企業(yè)安全管理首席分析師Curtis Franklin表示：“我的建議是，企業(yè)領(lǐng)導(dǎo)者應(yīng)該立即開始教育員工，讓他們了解使用生成式人工智能的潛在風(fēng)險。他們不太可能阻止生成式人工智能的使用，但需要讓員工知道與之相關(guān)的風(fēng)險。這是直接的措施。人們應(yīng)該在考慮如何做到這一點。”

下一步措施是成立一個來自不同業(yè)務(wù)部門的利益相關(guān)者參與的委員會，研究如何在企業(yè)中合法地使用生成式人工智能，并開始平衡這些好處和風(fēng)險。Franklin說，“企業(yè)應(yīng)該有一個基于風(fēng)險的框架，在這個基礎(chǔ)上決定將如何使用它，并保護企業(yè)免受潛在的濫用或不良使用。”