編譯丨伊風(fēng)

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

對生成性人工智能（generative AI）的需求正不斷增長，而對LLM安全和可靠性的擔(dān)憂也變得比以往任何時候都更加突出。企業(yè)希望能確保為內(nèi)外部使用而開發(fā)的大規(guī)模語言模型（LLM）能夠提供高質(zhì)量的輸出，而不會偏離到未知領(lǐng)域。

微軟認(rèn)識到這些擔(dān)憂，長期以來，微軟使用OpenAI的模型只能調(diào)用API，對黑盒里的秘密缺少掌控的方法。微軟近期宣布推出了新的Azure AI工具，用以幫助解決大模型的幻覺問題，同時能夠解決安全漏洞問題，如提示注入攻擊，即模型被欺騙生成侵犯隱私或其他有害內(nèi)容——就像微軟自己的AI圖像創(chuàng)作器生成的泰勒·斯威夫特深度偽造圖像一樣。

據(jù)悉，安全工具將在未來幾個月內(nèi)廣泛推出，目前尚未公開具體的時間表。

1.Azure AI在大模型的安全做些什么？

隨著LLM的普及，提示注入攻擊問題變得格外突出。本質(zhì)上，攻擊者可以以一種方式改變模型的輸入提示（prompt），以繞過模型的正常操作，包括安全控制，并操縱它以顯示個人或有害內(nèi)容，從而危及安全或隱私。這些攻擊可以通過兩種方式進(jìn)行：直接攻擊，即攻擊者直接與LLM交互；或間接攻擊，這涉及使用第三方數(shù)據(jù)源，如惡意網(wǎng)頁。

為了解決這兩種形式的提示注入，微軟正在將提示盾（Prompt Shields）添加到Azure AI。這是一個綜合能力，使用先進(jìn)的機(jī)器學(xué)習(xí)（ML）算法和自然語言處理自動分析提示和第三方數(shù)據(jù)的惡意意圖，并阻止它們到達(dá)模型。

它將集成到微軟的三個相關(guān)產(chǎn)品中：Azure OpenAI服務(wù)（編者注：Azure OpenAI 是微軟推出的一款基于云的服務(wù)產(chǎn)品，它提供了對OpenAI強(qiáng)大語言模型的訪問能力。Azure OpenAI 的核心優(yōu)勢在于它結(jié)合了OpenAI的先進(jìn)技術(shù)和微軟Azure的安全性及企業(yè)級承諾）、Azure AI內(nèi)容安全和Azure AI工作室。

除了努力阻止威脅安全和安全的提示注入攻擊外，微軟還引入了專注于生成型AI應(yīng)用程序可靠性的工具。這包括預(yù)建的安全中心系統(tǒng)消息模板和一個新的功能，稱為“基礎(chǔ)性檢測”（Groundedness Detection）。

正如微軟所解釋的，安全中心系統(tǒng)消息模板允許開發(fā)人員構(gòu)建引導(dǎo)模型行為朝著安全、負(fù)責(zé)和數(shù)據(jù)基礎(chǔ)輸出的系統(tǒng)消息。而基礎(chǔ)性檢測使用一個經(jīng)過微調(diào)的定制語言模型來檢測模型產(chǎn)生的文本輸出中的幻覺或不準(zhǔn)確材料。兩者都將在Azure AI工作室和Azure OpenAI產(chǎn)品中提供服務(wù)。

值得注意的是，檢測基礎(chǔ)性的指標(biāo)還將伴隨著自動化評估，以壓力測試生成型AI應(yīng)用程序的風(fēng)險和安全性。這些指標(biāo)將衡量應(yīng)用程序被越獄并產(chǎn)生任何不適當(dāng)內(nèi)容的可能性。評估還將包括自然語言解釋，以指導(dǎo)開發(fā)人員如何構(gòu)建適當(dāng)?shù)木徑獯胧﹣斫鉀Q問題。

“今天，許多組織缺乏壓力測試其生成型AI應(yīng)用程序的資源，以便他們可以自信地從原型轉(zhuǎn)向市場應(yīng)用。首先，構(gòu)建一個反映新出現(xiàn)風(fēng)險范圍的高質(zhì)量測試數(shù)據(jù)集可能是具有挑戰(zhàn)性的，例如越獄攻擊。即使有高質(zhì)量的數(shù)據(jù)，評估也可能是一個復(fù)雜且手動的過程，開發(fā)團(tuán)隊可能會發(fā)現(xiàn)很難解釋結(jié)果以通知有效的緩解措施，”微軟安全AI首席產(chǎn)品官Sarah Bird在博客文章中指出。

2.Azure AI將實(shí)時“監(jiān)控”大模型

Azure AI在實(shí)際使用過程中，微軟將提供實(shí)時監(jiān)控，幫助開發(fā)人員密切關(guān)注觸發(fā)安全功能（如提示盾）的輸入和輸出。這項功能被集成在Azure OpenAI服務(wù)和AI工作室產(chǎn)品中，將生成詳細(xì)的可視化圖表，突出顯示被阻止的用戶輸入/模型輸出的數(shù)量和比例，以及按嚴(yán)重性/類別的細(xì)分。

利用這種可視化的實(shí)時監(jiān)測，開發(fā)人員能夠了解有害請求趨勢隨時間的變化，并調(diào)整其內(nèi)容過濾器配置、控制以及更廣泛的應(yīng)用程序設(shè)計，以增強(qiáng)安全性。

微軟致力于加強(qiáng)其AI產(chǎn)品已經(jīng)有很長的時間了。此前，微軟CEO薩提亞·納德拉（Satya Nadella）在采訪中強(qiáng)調(diào)，微軟并沒有完全依賴于OpenAI，同時也在發(fā)展自己的AI項目，以及幫助OpenAI建設(shè)其產(chǎn)品：“我對于我們現(xiàn)在的關(guān)系感到很滿意。我也認(rèn)為，這樣有助于我們掌握各自公司的命運(yùn)。”

改變了“All in OpenAI”的格局，微軟也使用了包括Mistral在內(nèi)的大模型。最近，微軟新成立的團(tuán)隊Microsoft AI動作頻頻，它甚至聘請了來自Inflection AI的Mustafa Suleyman及其團(tuán)隊。這似乎是一種減少對Sam Altman及OpenAI依賴的方法。

現(xiàn)在，這些新的安全和可靠性工具的加入建立在公司已經(jīng)完成的工作基礎(chǔ)上，為開發(fā)人員提供了一個更好、更安全的方式來構(gòu)建其提供的模型之上的生成型AI應(yīng)用程序。

參考鏈接：??https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/??

本文轉(zhuǎn)載自 ??51CTO技術(shù)棧??，作者：伊風(fēng)????