成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

AI自己給自己當網管,實現安全“頓悟時刻”,風險率直降9.6%

人工智能 新聞
來自加州大學圣克魯茲分校,加州大學伯克利分校,思科研究和耶魯大學的的研究團隊提出了創新的SafeKey框架,成功在不影響模型核心能力的前提下,顯著增強了其安全穩健性。

大型推理模型(LRMs)在解決復雜任務時展現出的強大能力令人驚嘆,但其背后隱藏的安全風險不容忽視。

盡管學術界已嘗試通過監督微調(SFT)有效地提升模型安全,但下圖的測試結果所示,監督微調在面對訓練數據領域外的層出不窮的“越獄”攻擊時,往往顯得捉襟見肘,泛化能力有限。

同時,之前的工作沒有對大型推理模型的安全思考做深入的分析,以進行針對性的提升。

圖片

來自加州大學圣克魯茲分校,加州大學伯克利分校,思科研究和耶魯大學的的研究團隊提出了創新的SafeKey框架,成功在不影響模型核心能力的前提下,顯著增強了其安全穩健性。

圖片

發現:大模型信息“越獄”的兩大核心

SafeKey團隊在探究模型為何會“越獄”成功時,獲得了兩大核心發現:

1.“關鍵句”現象(The “Key Sentence”)

如下圖所示,推理模型在回答問題時,普遍會先進行一段對用戶查詢的理解與重述。

而緊隨其后的第一個句子,往往直接決定了整個回答的“安全調性”。

研究團隊將其命名為“關鍵句”(Key Sentence):一個安全的“頓悟時刻”(Aha-moment)能否在此時被觸發,是模型走向安全回答還是危險回答的分水嶺。

圖片

2.“沉睡的安全信號”(The Dormant Safety Signal)

另外,對于大量“越獄”成功的案例,模型在生成“關鍵句”之前,其對查詢的理解和復述已經明確暴露了查詢的惡意

這意味著,模型內部的隱藏狀態在早期階段就已攜帶了強烈的安全特征信號。

但是在回答查詢的過程中,這個寶貴的安全信號卻陷入了“沉睡”,未能在后續生成“關鍵句”的過程中被充分利用,導致了最終的安全防線崩潰。

SafeKey:雙管齊下,喚醒模型的內在安全頓悟

基于上述發現,SafeKey框架應運而生——

它不再滿足于簡單的“對錯”教導,而是通過兩大創新優化目標,精準地強化模型在“關鍵句”生成時的“安全頓悟時刻”。

雙通路安全頭(Dual-Path Safety Head):提前放大安全信號

如下圖所示,為了強化模型內部的安全信號,研究團隊設計了“雙通路安全頭”。在訓練階段,它會并行地監督兩段關鍵內容的隱藏狀態:

圖片

a.“關鍵句”之前的所有內容。

b.模型對原始查詢的理解與復述過程。

這種設計通過監督預測頭對這兩個關鍵階段的隱藏狀態進行安全判別,迫使模型在生成“關鍵句”前放大隱藏狀態內的安全信號,為后續成功觸發“安全頓悟”做好了充分鋪墊。

查詢遮蔽建模(Query-Mask Modeling):強迫模型“聽自己的”

如下圖所示,為了促使模型在決策時更加依賴自己內在的安全判斷,而非被“越獄”指令牽著鼻子走,SafeKey團隊提出了“查詢遮蔽建模”。

圖片

該任務會完全遮蔽掉原始的用戶輸入,要求模型僅憑自己剛剛生成的“理解與復述”內容,來續寫出安全的“關鍵句”

這種設計強迫模型必須“相信”并“利用”自己剛剛形成的、已經攜帶了安全信號的內部理解,從而極大地增強了安全決策的自主性和穩健性。

測試:安全與能力的“雙贏”

圖片

SafeKey的有效性在實驗中得到了充分驗證:

安全性能顯著提升:實驗結果表明,SafeKey框架能夠顯著地提升模型的安全性,尤其是在面對訓練領域外的危險輸入和越獄提示的時候,能夠在三個不同大小的模型上降低9.6%的危險率

有效維持核心能力:SafeKey完美地保持了模型原有的各項核心能力。在數學推理、代碼和通用語言理解等基準測試上,搭載SafeKey的模型甚至取得了比原始基線平均高0.8%的準確率

圖片

模塊有效性驗證:消融實驗證明,“雙通路安全頭”和“查詢遮蔽建模”兩個模塊均可獨立提升模型安全性。進一步實驗分析發現,SafeKey能夠提升模型在生成關鍵句的時候對自己的復述與理解的注意力。同時,雙通路安全頭的損失函數能讓模型學到更好的安全表征,從而使安全頭更容易學會正確的安全分類。

總的來說,SafeKey框架能夠應用在各種不同的大型推理模型上,在幾乎不影響模型能力的同時提升模型的安全性,并且需要較少的計算資源。

論文地址:https://arxiv.org/pdf/2505.16186

項目主頁:https://safekeylrm.github.io/

復現代碼:https://github.com/eric-ai-lab/SafeKey/

模型:https://huggingface.co/collections/kzhou35/safekey-682e1fe29f845acd875c0c8c

責任編輯:張燕妮 來源: 量子位
相關推薦

2020-09-23 11:26:40

人工智能技術網絡犯罪

2009-03-13 10:11:05

2023-06-15 07:53:07

NeRF深度學習

2025-04-25 08:00:00

網絡安全AI漏洞

2010-08-20 10:25:36

服務器發電

2023-05-09 06:54:34

2011-06-27 16:18:24

Qt Designer

2011-07-20 16:29:40

iPhone Installer 軟件源

2015-05-08 10:52:39

2018-05-25 10:24:35

職場技能互聯網

2025-04-01 09:54:09

AI算法大模型AI

2014-04-22 09:59:16

2012-07-10 01:34:27

代碼優化代碼程序員

2015-07-23 14:53:50

貝葉斯分類器

2025-02-21 08:10:00

隱形AI影子AI安全

2013-08-27 10:24:01

2023-07-26 19:03:28

2025-01-21 10:10:56

2020-10-26 07:03:35

機器學習算法

2022-08-23 23:19:12

ChromeCoverage
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产一级片一区二区 | 黄色片免费在线观看 | 国产精品一区二区久久久久 | 国产成人免费视频 | 91毛片在线观看 | 精品一区二区电影 | 欧美一区二区三区久久精品 | 色约约视频 | 亚洲成人av | 日韩在线成人 | 黑人巨大精品欧美黑白配亚洲 | 国产精品一区二区久久久久 | 一区二区三区欧美 | 中文成人无字幕乱码精品 | 日韩资源 | 精品三区 | 蜜桃在线视频 | 亚洲人成人一区二区在线观看 | av永久免费| 日韩中文字幕网 | 亚洲精品视频网站在线观看 | 国产精品久久久久久久久久不蜜臀 | 成人字幕网zmw | 精品一区二区在线视频 | 日韩在线一区二区三区 | 欧美日韩综合一区 | 中文精品视频 | 99re国产视频 | 99精品欧美一区二区蜜桃免费 | 国产美女在线观看 | 午夜精品一区二区三区免费视频 | 亚洲小视频在线观看 | 中文字幕在线视频网站 | 国产精品视频一 | 一区二区三区四区av | 一区二区三区在线观看视频 | 中文字幕视频网 | 91文字幕巨乱亚洲香蕉 | 成人精品福利 | av在线免费观看网站 | 国产一区精品在线 |