放棄博士學(xué)位加入OpenAI,他要為ChatGPT和AGI引入記憶與人格
今天,一位研究者加入 OpenAI 的消息吸引了很多人的關(guān)注。
這位研究者名為 James Campbell,他才于 2024 年攻讀 CMU 的計(jì)算機(jī)科學(xué)博士學(xué)位。現(xiàn)在,他突然宣布要放棄博士學(xué)業(yè),加入 OpenAI。
在社媒 X 上,他表示自己在 OpenAI 的研究重心是「AGI 和 ChatGPT 的記憶 + 人格」,記憶將從根本改變?nèi)祟惻c機(jī)器智能的關(guān)系。他將努力工作,確保正確地實(shí)現(xiàn)這一切。
他的加入連 OpenAI 聯(lián)合創(chuàng)始人、總裁 Greg Brockman 都表達(dá)了歡迎。
還有人表示,「你為什么花了這么長(zhǎng)時(shí)間才決定加入 OpenAI。」
那么,這位老兄是何方神圣呢?他的加入為什么引起了這么多的關(guān)注?我們來(lái)看一下他的履歷。
他本科畢業(yè)于康奈爾大學(xué),專業(yè)是數(shù)學(xué)與計(jì)算機(jī)科學(xué)。本科期間,他致力于 LLM 可解釋性和真實(shí)性的研究,還是兩篇論文《Representation Engineering》和《Localizing Lying in Llama》的主要作者。
前一篇論文研究了表示工程:一種自上而下的 AI 透明性方法,后者研究了在 Llama 中定位謊言:通過(guò)提示、探查和修補(bǔ)來(lái)理解判斷題上的不誠(chéng)實(shí)指令。
- 論文 1:Representation Engineering: A Top-Down Approach to AI Transparency,https://arxiv.org/abs/2310.01405
- 論文 2:Localizing Lying in Llama: Understanding Instructed Dishonesty on True-False Questions Through Prompting, Probing, and Patching,https://arxiv.org/abs/2311.15131
他還在 Gray Swan AI(AI 安全公司)從事對(duì)抗魯棒性和評(píng)估方面的工作,并曾從事計(jì)算神經(jīng)科學(xué)、物理學(xué)和深度學(xué)習(xí)理論方面的工作。他也是 ProctorAI(監(jiān)視用戶工作狀態(tài)的多模態(tài) AI 系統(tǒng))、AI-Timeline.org 的創(chuàng)始人,以及 AidanBench(AI 模 型基準(zhǔn)測(cè)試工作)的合著者。
其中,ProctorAI 曾引發(fā)過(guò)廣泛熱議,該系統(tǒng)監(jiān)視用戶的屏幕,如果發(fā)現(xiàn)你有拖延,就會(huì)提醒你。它的工作原理是每隔幾秒截取電腦屏幕截圖,并輸入到 Claude 3.5 Sonnet、GPT-4o、LLaVA 1.5 等多模態(tài)大模型中。如果發(fā)現(xiàn)用戶注意力不集中,它會(huì)控制屏幕并用個(gè)性化消息提醒。
項(xiàng)目地址:https://github.com/jam3scampbell/ProctorAI
2024 年,他進(jìn)入 CMU 攻讀博士學(xué)位,研究重心是理解通用智能的構(gòu)成要素,并確保這些要素的安全性。
如今,他選擇加入 OpenAI,開始了在產(chǎn)業(yè)界的探索。
其實(shí), James Campbell 的加入有跡可循。幾天前,在 OpenAI 宣布組建模型行為研究團(tuán)隊(duì)的帖子下面,二者便開始了互動(dòng)。
在更早的時(shí)候,James Campbell 發(fā)表過(guò)一些關(guān)于 ChatGPT 記憶方面的觀點(diǎn)。
他贊同應(yīng)該對(duì) ChatGPT 的記憶及其導(dǎo)致更強(qiáng)幻覺(jué)的問(wèn)題進(jìn)行研究,并認(rèn)為上下文污染和模式崩潰是真實(shí)存在的,但目前對(duì)它們的研究還不多。如果在每個(gè) prompt 中塞入數(shù)千個(gè) token 的記憶,它們便會(huì)變得更加活躍。
看起來(lái),James Campbell 的加入是一場(chǎng)雙向奔赴。