看不下去AI胡說(shuō)八道，英偉達(dá)出手給大模型安了個(gè)“護(hù)欄”

作者：蕭簫 2023-05-05 10:28:47

人工智能新聞

這個(gè)大模型護(hù)欄工具已經(jīng)開(kāi)源，一起來(lái)看看它的效果和生成方法

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

大模型們胡說(shuō)八道太嚴(yán)重，英偉達(dá)看不下去了。

他們正式推出了一個(gè)新工具，幫助大模型說(shuō)該說(shuō)的話，并回避不應(yīng)該觸碰的話題。

這個(gè)新工具名叫“護(hù)欄技術(shù)”（NeMo Guardrails），相當(dāng)于給大模型加上一堵安全圍墻，既能控制它的輸出、又能過(guò)濾輸入它的內(nèi)容。

一方面，用戶誘導(dǎo)大模型生成攻擊性代碼、輸出不道德內(nèi)容的時(shí)候，它就會(huì)被護(hù)欄技術(shù)“束縛”，不再輸出不安全的內(nèi)容。

另一方面，護(hù)欄技術(shù)還能保護(hù)大模型不受用戶的攻擊，幫它擋住來(lái)自外界的“惡意輸入”。

現(xiàn)在，這個(gè)大模型護(hù)欄工具已經(jīng)開(kāi)源，一起來(lái)看看它的效果和生成方法。

防止大模型胡言亂語(yǔ)的三類“護(hù)欄”

根據(jù)英偉達(dá)介紹，目前NeMo Guardrails一共提供三種形式的護(hù)欄技術(shù)：

話題限定護(hù)欄（topical guardrails）、對(duì)話安全護(hù)欄（safety guardrails）和攻擊防御護(hù)欄（security guardrails）。

話題限定護(hù)欄，簡(jiǎn)單來(lái)說(shuō)就是“防止大模型跑題”。

大模型具備更豐富的想象力，相比其他AI更容易完成創(chuàng)造性的代碼和文字編寫工作。

但對(duì)于特定場(chǎng)景應(yīng)用如寫代碼、當(dāng)客服而言，至少用戶不希望它在解決問(wèn)題時(shí)“脫離目標(biāo)范圍”，生成一些與需求無(wú)關(guān)的內(nèi)容。

這種情況下就需要用到話題限定護(hù)欄，當(dāng)大模型生成超出話題范圍的文字或代碼時(shí)，護(hù)欄就會(huì)將它引導(dǎo)回限定的功能和話題上。

對(duì)話安全護(hù)欄，指避免大模型輸出時(shí)“胡言亂語(yǔ)”。

胡言亂語(yǔ)包括兩方面的情況。

一方面是大模型生成的答案中包括事實(shí)性錯(cuò)誤，即“聽(tīng)起來(lái)很有道理，但其實(shí)完全不對(duì)”的東西；

另一方面是大模型生成帶偏見(jiàn)、惡意的輸出，如在用戶引導(dǎo)下說(shuō)臟話、或是生成不道德的內(nèi)容。

攻擊防御護(hù)欄，即防止AI平臺(tái)受到來(lái)自外界的惡意攻擊。

這里不僅包括誘導(dǎo)大模型調(diào)用外部病毒APP從而攻擊它，也包括黑客主動(dòng)通過(guò)網(wǎng)絡(luò)、惡意程序等方式攻擊大模型。護(hù)欄會(huì)通過(guò)各種方式防止這些攻擊，避免大模型癱瘓。

所以，這樣的護(hù)欄要如何打造？

如何打造一個(gè)大模型“護(hù)欄”？

這里我們先看看一個(gè)標(biāo)準(zhǔn)的“護(hù)欄”包含哪些要素。

具體來(lái)說(shuō)，一個(gè)護(hù)欄應(yīng)當(dāng)包括三方面的內(nèi)容，即格式規(guī)范（Canonical form）、消息（Messages）和交互流（Flows）。

首先是格式規(guī)范，即面對(duì)不同問(wèn)題的問(wèn)法時(shí)，規(guī)定大模型要輸出的內(nèi)容。

例如被問(wèn)到“XX文章是什么”，大模型必須給出特定類型的“文章”，而非別的東西；被問(wèn)到“誰(shuí)發(fā)表了什么”，大模型必須給出“人名”，而非別的回答。

然后是消息定義，這里以“用戶問(wèn)候”話題為例，大模型可以輸出這些內(nèi)容：

最后是交互流的定義，例如告訴大模型，怎么才是問(wèn)候用戶的最好方式：

一旦問(wèn)候用戶的機(jī)制被觸發(fā)，大模型就會(huì)進(jìn)入這個(gè)護(hù)欄，規(guī)規(guī)矩矩地問(wèn)候用戶。

具體工作流程如下：首先，將用戶輸入轉(zhuǎn)換成某種格式規(guī)范（canonical form），據(jù)此生成對(duì)應(yīng)的護(hù)欄；隨后，生成行動(dòng)步驟，以交互流指示大模型一步步完成對(duì)應(yīng)的操作；最后，根據(jù)格式規(guī)范生成輸出。