200K 上下文突破:AI 編程新星 Augment 崛起
作者 | 啄木鳥AI編程安全研究團隊
一、AI編程新星Augment:技術突破與行業顛覆
AI編程圈最近來了個“新人”,名為Augment,主打“全棧式AI編程助手”。并在年初以 65.4%的SWE-bench評分登頂AI編程工具榜首。
這預示著今年是AI編程工具極速速進化的一年。
1. 行業與技術的突圍
Augment是一家初創公司,在完成B輪融資后,短時間內公司突圍估值突破128億美元。
論技術能力,Augment在SWE-bench Verified 排行榜上,以65.4%的成績拿下代碼質量第一的成就,超越Gemini、OpenAI o1等頭部AI產品,不少人都認為這是繼GitHub Copilot現象級產品后的又一潛力新星。
這個新產品在行業和技術突破重圍后,AI編程工具相關的話題也再次被推至風口浪尖:
- 市面AI編程產品目前發展現狀如何?
- AI編程產品能100%信任嗎?(畢竟使用過程中涉及到了很多工具),整個使用路徑有沒有安全風險?
有風險,且當Agent、MCP、A2A等新興 AI 能力涌現后,AI編程要面對的安全問題變得更為復雜和鏈路化。本文以 Augment 作為AI編程場景下的典型切入點,細析AI編程現狀與其中不得不面對的安全風險。
二、AI編程工具現狀:技術紅利尚在,新挑戰層出不窮
1. AI工具的使用率遠超想象
在AI技術重構軟件開發的進程中,開發者逐漸“重度依賴”編程助手。根據麥肯錫2024年開發者調查報告顯示, 全球超60%的開發者正在使用AI編程工具,其中82%集中在代碼編寫場景。
——畢竟用AI編寫代碼,能把工作時間從100分鐘壓縮至20-30分鐘,調試耗時從80分鐘降至35-45分鐘,誰還會抗拒AI呢?本質上效率的提升會導致生產力方式根本性轉變。
這種變革不僅體現在基礎編碼環節,更滲透至文檔生成(耗時降低45-50分鐘)、代碼庫理解(效率提升30.9%)等復雜場景。
2. 當下AI編程痛點
以Augment為首的新一代AI編程工具,正在逐步解決過去的技術挑戰。
3. 上下文理解問題
大部分人工智能系統都面臨著一個挑戰:當你處理包含數千萬行代碼的大型系統時,你根本無法將所有這些代碼作為上下文,傳遞給當今的大型語言模型,而augment的人工智能模型,能夠執行復雜的實時采樣,精確識別代碼庫中合適的子集,使代理能夠有效地完成工作。
根據官方介紹,Augment的核心賣點在于它能夠理解海量代碼庫中的上下文,支持 20 萬 token 的上下文窗口,這剛好是其他AI編程產品所欠缺的能力。
4. 支持多環境深度集成
Augment支持多種形態下的使用,無論是從VS Code里加載,或者作為IDE拓展使用都不在話下。除外它匯集了 Claude Sonnet 3.7 和 O1 的最佳功能,在 AI 編碼能力行業基準Introducing SWE-bench Verified | OpenAI中取得了迄今為止的最高分。
這些優勢與競爭對手形成了鮮明對比,一邊是AI工具迫切使用需求,一邊是AI編程工具的快速迭代發布。
程序員的每一個痛點,都能被時間治愈——它能在AI編程工具的快速迭代中得到解決。
未來幾乎可預見:新式AI編程工具將逐漸成為主流。
三、新式AI編程(如Augment)存在更復雜的安全風險
Augment這類新式工具的出現,拓寬了AI編程的能力范圍,但安全風險也跟隨能力版圖一并擴大。
過去的AI代碼安全問題,只需保證模型輸出安全的代碼即可。但是現在AI編程玩法多了起來,MCP串聯、超長上下文機制,每一個新環節、新引入,都有是一次戰戰兢兢的安全大挑戰。
此類新型AI編程工具,使用中有存在不少安全風險。啄木鳥AI編程安全研究團隊對此進行了一一研究分析。
1. Agent Memory功能——惡意prompt風險
Agent memory是什么功能?
它相當于AI的"記憶庫",存儲用戶習慣/重要信息,用戶可以往里面添加內容,每次AI生成代碼時都會調用這個記憶庫,同時在與AI的交互中,AI也會自動提取用戶的重要信息添加到memory。
AI記憶庫是怎么受到攻擊的?
第一步:黑客利用Unicode編碼,把惡意代碼轉換成隱形字符,寫入到Prompt里面
第二步:將隱形的Prompt偷偷寫入Agent的"記憶庫"文件中
第三步,當用戶正常使用Augment Code生成代碼時,代碼里會自動插入惡意腳本,也就是黑客預設好的“后門”,有了后門,黑客就可以做一些惡意操作。
2. 上下文添加機制——后門引入風險
什么是上下文(Context)添加機制?
這是一個可以提高AI對項目理解力的功能,Augment允許用戶添加額外的上下文內容,尤其是在前后端分離開發的項目中,同時對前后端項目代碼進行上下文添加。可以大幅提升Augment的Coding能力。
“上下文添加”功能卻成攻擊入口
提升效率的創新功能,卻隱藏著一定的安全隱患。
黑客通過構造惡意的后端項目,當用戶對這個惡意的后端項目添加索引時,黑客便可以完成一次后門植入。
至此,用戶僅僅只是正常和Augment對話,它就會給用戶返回帶惡意后門的內容。
如果用戶直接使用了這些HTML頁面,黑客就可以在用戶所在環境中執行惡意代碼。
3. Guidelines ——生成惡意user guidelines
(1) Guidelines功能介紹
這是一個用戶通過自然語言,定制化guidelines,來提升AI的表現的功能。guidelines的定制粒度有user 粒度 或 workspace 粒度兩類,其中user粒度的guidelines會對所有的對話生效,而workspace粒度的guidelines只會對當前工作區下的codebase生效。
(2) Guidelines存在后門風險
黑客只需要把user guidelines進行惡意改造,它輸出給用戶的代碼就能包含“惡意后門”
4. MCP——執行惡意命令
當Augment搭配當下最火的MCP一起使用,也會有風險嗎?
MCP的風險本質是什么?
MCP(多任務協作協議)能串聯多個AI工具或自動化流程。但如果被惡意指令劫持,可能直接觸發MCP執行高危操作(如刪庫、提權、竊取密鑰)。
如何通過MCP進行攻擊?
黑客只需要通過構建一個惡意的MCP Server,并通過投毒誘導用戶把該server配置進Augment中。
當用戶和Augment正常對話的時候,Agent會自動觸發惡意的MCP Server,開始作惡:
四、解決方案建議
AI編程工具快速迭代的當下,該如何面對其中的安全風險?啄木鳥AI編程安全團隊就此做出提醒:
1. 多層安全架構與數據保護
輸入驗證與最小權限:嚴格驗證用戶輸入,尤其是在上下文添加和Guidelines等功能中,防止惡意注入。同時,應用最小權限原則,確保 AI 工具僅能訪問必要資源。
數據加密與脫敏:敏感數據應進行脫敏處理,防止傳遞給 AI 工具造成信息泄露。
2. AI模型與安全監控
實時監控與行為分析:實時監控AI工具的行為,檢測并響應異常模式,如異常的代碼生成或API訪問,及時采取安全措施。
模型審計與可解釋性:定期對AI模型進行審計,確保輸出可追溯和可解釋,避免惡意代碼生成。
3. AI記憶管理與上下文安全
加密存儲與審查:AI的“記憶庫”需加密存儲,并定期檢查,防止被注入惡意指令。
沙箱環境與動態評估:對生成的代碼在安全沙箱中進行測試,確保無惡意后門,并實時評估修改后的安全性。
4. 安全更新與漏洞管理
自動化更新與漏洞響應:確保AI工具能及時安全更新,修復漏洞并自動安裝補丁。建立快速響應機制,修復發現的安全漏洞。
5. 安全意識提升
安全培訓與使用指南:企業或工具提供方,應該為開發者和用戶提供定期的安全培訓和明確的安全使用指南,提升其識別潛在風險的能力,確保安全使用AI編程工具。
五、寫在最后
每一次AI編程工具的技術革命,都將帶來一次安全方案的顛覆。常見的漏洞類型依舊是那些,但它出現的方式會隨著技術革命而不斷更迭,安全防線的構筑速度必須跑贏攻擊者的創新節奏。
這場關乎AI編程未來的競賽,既需要技術層面的博弈,更需要整個產業對"安全創新"的達成共識才行。
請設想,如果有一天[安全]成為AI代碼產品的第一性原則,這些AI技術革命,是不是能釋放出更多改變世界的力量呢?