ChatGPT新版記憶功能居然被民間大佬逆向工程了！

能引用歷史記錄，甚至還能悄悄藏個人資料？

最近OpenAI推出了一項名為聊天歷史記錄的額外記憶功能，允許ChatGPT引用歷史對話以進行個性化交互。

相較于原有的保存記憶功能，新功能更私人、更懂你。

相關功能默認關閉，需要用戶自行在“設置->個性化->參考聊天記錄”中啟用。

非全面開放、無法通過API供開發(fā)者使用，于是各路技術大佬開始著手破解起新記憶功能的具體機制和技術實現(xiàn)路徑，甚至披露了連官方都沒有透露的聊天記錄系統(tǒng)的三大子系統(tǒng)細節(jié)。

那記憶功能到底是怎么工作的呢？結(jié)合多位大佬的分析，我們總結(jié)如下：

記憶系統(tǒng)是如何工作的

據(jù)官網(wǎng)介紹，目前已知存在兩種記憶功能：參考保存記憶和參考聊天記錄。

但在具體實驗中發(fā)現(xiàn)，聊天記錄系統(tǒng)實際上可以細分為當前對話歷史記錄、對話歷史記錄和用戶洞察三個子系統(tǒng)。

接下來我們依次進行單獨闡述。

保存記憶系統(tǒng)

首先是大家最熟悉的保存記憶系統(tǒng)，簡單、用戶可控，用以保存用戶自定義信息，例如你的姓名、喜歡的顏色或飲食偏好。

這些信息會被引入系統(tǒng)提示，用戶需要使用類似“Remember that I …”的提示明確要求ChatGPT記住。此外還可以通過用戶界面查看和刪除信息。

具體的實現(xiàn)過程如下：

1. 由于ChatGPT通過bio工具保存記憶，可以使用以下代碼創(chuàng)建工具的合理近似值：
   
2. 將其定義為LLM調(diào)用，以接受用戶消息和現(xiàn)有事實列表，然后返回新事實列表或拒絕，此外需要進行測試和迭代以確保行為正確。
   
3. 以上便完成了用戶信息到系統(tǒng)提示的注入。另外如果想要實現(xiàn)與ChatGPT的功能對等，還可以再構(gòu)建一個簡單的UI來檢查和刪除這些信息。

聊天記錄系統(tǒng)

而新功能聊天記錄系統(tǒng)實際要復雜得多，且很有可能在助手響應速度的提升中發(fā)揮重要作用。

• 當前對話歷史記錄

這是用戶在其他對話中發(fā)送的近期消息的簡單記錄，小到只包含最近一天的信息。

同時，由于該系統(tǒng)和對話RAG系統(tǒng)都可能將用戶的直接引用內(nèi)容添加到模型上下文中，從而難以界定信息來源。

它可以直接通過過濾ChatMessage按時間排序，并設置有消息限制的用戶消息表來輕松實現(xiàn)。

• 對話歷史記錄

該系統(tǒng)包含先前對話的相關上下文，直接援引其他對話中的信息，提供更簡短但不具體的舊對話背景。

但ChatGPT無法正確維護消息順序，也無法在明確的時間范圍內(nèi)回憶，例如：“引用在過去一小時內(nèi)發(fā)送的所有消息”，因此它應當是通過對話摘要和消息內(nèi)容進行消息檢索。

于是據(jù)推測，在該系統(tǒng)中很有可能存在一個用戶查詢列表，用來存儲整個對話摘要索引的匯總。

它的技術實現(xiàn)過程為：

1. 首先配置兩個向量空間，其索引分別為message-content和conversation-summary。
   
2. 將發(fā)送的信息插入到message-content向量空間，當對話處于非活動狀態(tài)一段時間后，再將用戶信息添加到conversation-summary空間，另外配置一個由摘要索引并包含摘要的第三個向量空間。

在對話創(chuàng)建后的兩周內(nèi)，對話摘要和消息將要插入此空間。

當用戶發(fā)送消息時，就會嵌入其中，并在兩周的時間范圍內(nèi)對兩個空間進行相似性過濾查詢。

此外同時還會查詢摘要空間，過濾超過兩周的信息以避免重復，最后將結(jié)果全部放入系統(tǒng)提示。

• 用戶洞察

用戶洞察是保存記憶的更高級、更隱晦的版本，源自對多個對話的分析，例如：

用戶在 Rust 編程方面擁有豐富的經(jīng)驗和知識，特別是在異步操作、線程和流處理方面；用戶在 2024 年末至 2025 年初的幾次對話中詢問了有關 Rust 編程的多個詳細問題，包括異步行為、特征對象、serde 實現(xiàn)和自定義錯誤處理。；置信度 = 高。

用戶洞察通過在消息歷史空間中搜索鄰近向量并生成摘要來創(chuàng)建，彼此之間各不相同，并標注有并不固定的時間范圍和置信度（指示消息向量的相似性），且很可能引用的是摘要存儲嵌入向量或完整消息嵌入向量的集合。

據(jù)推測，ChatGPT的用戶洞察實現(xiàn)方式很可能基于RAG實施方案中所描述的一個或多個向量空間，使用某種cron工作進行批處理完成更新。

下面介紹一個較為簡單的實現(xiàn)方式：

1. 配置一個每周運行一次的lambda。
2. 查詢ChatMessage表以查找上周發(fā)送消息的用戶列表。
3. 對以上用戶都運行一個insightUpdate lambda

此外考慮到LLM環(huán)境限制，洞察的數(shù)量需要保持在一定范圍內(nèi)最大限度，因此可以額外進行一個聚類優(yōu)化實驗，找到小于k的聚類數(shù)量，并保持較低的聚類內(nèi)方差，排除異常值。

找到聚類后，即可運行LLM生成洞察，最后將其存儲在表中并附在模型上下文內(nèi)。

首波記憶功能體驗反饋來了

在記憶新功能推出后，網(wǎng)友和技術專家們第一時間進行了體驗，但感受卻是兩極分化嚴重。

好的方面，記憶系統(tǒng)幫助ChatGPT平臺上的OpenAI模型，提供比API更好的用戶體驗。

由于系統(tǒng)允許用戶自行設置偏好，并量身定制響應，可以有效節(jié)省內(nèi)存。

詳細的洞察系統(tǒng)消除了查詢歧義，并最大程度地理解用戶需求；當前對話歷史記錄讓ChatGPT更理解用戶近期行為；而對話歷史記錄則有助于避免重復、矛盾的互動。

其中據(jù)推測約80%的性能提升都來自于用戶洞察系統(tǒng)。

但更多的網(wǎng)友反饋卻是這個功能它不工作！

以及超多的bug：

例如無法保存超過64個單詞到內(nèi)存中，即使顯示它已被保存。

例如依舊嚴重的幻覺。

還有更多值得修改的建議。