隨著AI的快速發展，安全專家擔心人工智能會取代他們的工作，但微軟的研究人員堅持認為，有效的紅隊測試仍然依賴于人類的專業知識、文化意識和情商——這些品質是機器無法復制的。

微軟的AI紅隊嚴格測試了100多款生成式AI產品，并確定人類的創造力在發現漏洞，以及預測黑客如何利用這些系統方面仍然至關重要。

根據雷德蒙德AI紅隊發布的白皮書，其開源的PyRIT（Python風險識別工具包）等工具可以簡化模擬黑客攻擊，但最終，在處理復雜風險方面，人類的參與仍然不可替代。

在網絡安全醫學、化學或生物風險等專業領域，微軟堅持認為，人類驅動的專業知識是必不可少的，才能正確、精確地評估人工智能的響應，這遠遠超出了語言模型的能力。

在網絡安全醫學、化學或生物風險等專業領域，微軟堅持認為，想要精確評估AI的響應，人類專家的專業知識必不可少，而這遠遠超出了語言模型的能力范圍。

微軟表示：“在多次操作中，我們依賴‘人類’來評估我們自己或使用大型語言模型（LLMs）無法評估的內容風險”，并強調“AI紅隊意識到這些局限性非常重要”。

公司研究團隊還強調了所謂的“文化能力”，即紅隊必須考慮語言和文化差異，以識別可能被主要基于英語數據集訓練的AI模型忽視的安全風險。

同時研究團隊指出：“AI紅隊中的人類元素在回答需要情商的AI安全問題時最為明顯。”例如“這個模型響應在不同情境下會如何被解讀？”以及“這些輸出是否讓我感到不適？”等問題只有人類操作員才能解析。

微軟補充表示：“最終，只有人類操作員才能評估用戶在實際環境中與AI系統進行的全部互動。”

該論文還包括一個案例研究，在這個案例中，微軟紅隊評估了聊天機器人對陷入困境用戶的回應，以此來調查“心理社會危害”。并警告說，紅隊成員可能會接觸到大量“令人不安和困擾的AI生成的內容”。

微軟表示：“這凸顯了很重要的一點，AI紅隊要擁有能讓操作員在需要時脫離工作的流程，還要有支持他們心理健康的資源。”

研究人員警告稱，生成式AI模型在現代應用中的集成引入了新的攻擊向量，其中一個案例是，視頻處理AI應用中的一個過時的FFmpeg組件引入了服務器端請求偽造（SSRF）漏洞，允許惡意黑客提升系統權限。

研究團隊表示：“AI模型通過引入新的漏洞擴大了攻擊面。”并指出，提示注入攻擊利用了AI模型通常難以區分系統級指令和用戶數據的事實。

參考來源：https://www.securityweek.com/ai-wont-take-this-job-microsoft-says-human-ingenuity-crucial-to-red-teaming/