Karpathy教你值回ChatGPT 200刀「票價」,初創(chuàng)工程師揭秘ChatGPT最核心能力
ChatGPT你肯定已經(jīng)用過,也用的很「爽」,但你的使用方法大概率是不對的!
別急,這是OpenAI初創(chuàng)大神Andrej Karpathy說的,「熱衷于」科普AI的他再度出手。
這次Andrej Karpathy用一張圖教會你如何選擇ChatGPT模型!
圖片
眾所周知,OpenAI給模型起了一堆名字:GPT-4o、o3、o4-mini、o4-mini-high、o1 pro mode...
簡直看的人眼花繚亂,根本不知道這些模型之間的區(qū)別。
甚至因為無法選擇正確的模型,日常使用都無法值回每個月20刀Plus的「票價」,更別說200刀的Pro會員了。
圖片
很多人并不知道,ChatGPT的這些模型之間差別很大,比如:
o3是處理重要或困難問題時最好的選擇。
它是一個推理能力非常強(qiáng)的模型,比4o更強(qiáng)大。如果你是專業(yè)使用ChatGPT,而沒有用o3,那你大概率會吃虧。
4o和o4是完全不同的東西。
大神Karpathy也不得不調(diào)侃,OpenAI這命名是真的混亂。
4o是應(yīng)對日常簡單到中等難度問題的「日常主力」好選擇。而o4目前只有mini版本,表現(xiàn)不如o3。
這些模型別用!
Karpathy還強(qiáng)調(diào)了,像o4-mini、o4-mini-high和o1-pro等模型就別用了,一點好處沒有!
Karpathy說他甚至無法理解OpenAI為什么現(xiàn)在就把o4-mini放出來了。
AI大神教你玩轉(zhuǎn)ChatGPT
Karpathy根據(jù)他的使用經(jīng)驗和ChatGPT不同模型之間的區(qū)別,給出如下這份「使用指南」。
任何簡單的問題
比如「哪些食物富含膳食纖維?」 => 用4o(大約占Karpathy使用量的40%)
圖片
任何困難或重要的問題,只要我愿意多等一會兒
比如「幫我理解這個稅務(wù)問題……」) => 用o3(也是大約占Karpathy使用量40%)
隨意寫代碼或者邊想邊改代碼的時候
比如「把這段代碼改成……」 => 用GPT-4.1(大約10%)
圖片
想深入理解一個主題——
希望GPT花10分鐘,查很多鏈接并總結(jié)一整套信息。
比如「幫我了解Luminar的興衰歷程」 => 用Deep Research(大約占10%)
圖片
注意:Deep Research不是模型選擇器里的一個版本(!!!),它是在Tools工具里打開的一個功能。
圖片
從底層來說它是基于o3的,但Karpathy認(rèn)為它和直接用o3還是不完全一樣(雖然Karpathy也不太確定)。
如果你掌握Karpathy給出的模型正確用法,你會發(fā)現(xiàn)ChatGPT真的越來越好用。
而且用的越多,你就會發(fā)現(xiàn)ChatGPT越來越懂你,就好像他化身你的「賈維斯」,記住了你平時的一切。
在這背后其實是因為ChatGPT擁有超強(qiáng)的記憶力,而這也是為何ChatGPT命名如此「混亂」的前提下,大家仍然愛用,并且是周活最高的AI工具,沒有之一。
圖片
揭秘ChatGPT「超強(qiáng)記憶力」
ChatGPT變得越來越懂你,似乎能記住你過去的偏好,甚至跨越多個對話還能聯(lián)系上下文。
這背后可不只是簡單的上下文窗口,而是一套復(fù)雜且精妙的記憶系統(tǒng)在運(yùn)作。
近日,一位來自初創(chuàng)公司的工程師Eric Hayes通過一篇博客,揭秘了ChatGPT背后復(fù)雜的記憶系統(tǒng)。
圖片
今天,就跟隨Eric Hayes來深入解析這套讓ChatGPT脫穎而出的「記憶魔法」!
ChatGPT的記憶系統(tǒng)使其體驗遠(yuǎn)遠(yuǎn)優(yōu)于其他大語言模型(LLMs)。
這主要得益于它將記憶系統(tǒng)分為兩大類:「保存記憶(Saved Memory)」和「聊天歷史(Chat History)」。
保存記憶(Saved Memory)
想象一下,你告訴ChatGPT你的喜好,它就能牢牢記住。這就是「保存記憶」的功能。
這是一個簡單、用戶可控的系統(tǒng)。你可以通過明確的指令,例如「記住我是一名軟件工程師」或「當(dāng)我推薦食譜時,請記住我是素食主義者」,來更新這些記憶。
這些記憶會以事實的形式被注入到系統(tǒng)提示中,影響后續(xù)的對話。例如,你可以讓ChatGPT記住你喜歡簡潔的回答,或者你是一名Rust編程專家,它就會根據(jù)這些偏好來調(diào)整回應(yīng)。
ChatGPT提供了一個簡單的用戶界面,讓你查看和刪除這些記憶。你也可以通過指令要求ChatGPT刪除已保存的記憶。
圖片
這個功能還可以智能識別。它會進(jìn)行最小程度的重復(fù)和矛盾檢查。
例如,如果你告訴它「我是一名軟件工程師」,它可能會保存;但如果你說「我不是軟件工程師」,它會拒絕并要求你澄清。
不過,對于高度相關(guān)但不同的信息(如「軟件工程師」、「前端工程師」),它是允許并存的。
圖片
這個系統(tǒng)通過一個名為「bio tool」的工具來實現(xiàn),Eric Hayes逆向了ChatGPT的記憶系統(tǒng),發(fā)現(xiàn)這個名為bio的方法。
圖片
聊天歷史(Chat History)
「聊天歷史」系統(tǒng)比「保存記憶」復(fù)雜得多,它可能才是提升ChatGPT響應(yīng)能力的關(guān)鍵。它又可以細(xì)分為三個子系統(tǒng):
1. 當(dāng)前會話歷史(Current Session History)
這就像是機(jī)器人短暫的「短期記憶」。它記錄了用戶在當(dāng)前會話中最近的消息。
這個記錄很小,只包含最近一天的消息,通常少于10條。
它可以直接引用用戶在當(dāng)前會話中發(fā)送的消息。
2. 對話歷史(Conversation History)
這個系統(tǒng)負(fù)責(zé)記住你與ChatGPT過去對話中的相關(guān)上下文。
并且可以進(jìn)行跨對話記憶,ChatGPT能夠引用你在其他對話中發(fā)送的直接消息。
Eric Hayes在測試中發(fā)現(xiàn),ChatGPT可以準(zhǔn)確引用兩周內(nèi)的消息。
超過兩周后,它通常只能提供你消息的摘要,而不是直接引用。
消息檢索是通過「對話摘要」和「消息內(nèi)容」進(jìn)行索引的。
這意味著即使你記不清具體詞句,只要描述內(nèi)容或?qū)υ捴黝},ChatGPT也能找到相關(guān)信息。
對于更久遠(yuǎn)的對話,系統(tǒng)可能會存儲推斷出來的信息,提供更小、更不具體的上下文。
3. 用戶洞察(User Insights)
這可能是ChatGPT最強(qiáng)大、最「聰明」的記憶形式!
它是「保存記憶」的更高級、更不透明的版本。
這些洞察是系統(tǒng)通過分析用戶在多個對話中的行為和提問自動生成的。它們會包含時間范圍和置信度。
圖片
用戶洞察能夠捕獲你的專業(yè)領(lǐng)域、興趣偏好、提問風(fēng)格等深層信息。
例如,它可能會記錄你「對Rust編程有豐富的經(jīng)驗和知識」或「偏愛簡潔的回答」。
通過這些詳細(xì)的洞察,ChatGPT能夠最小化令人沮喪的交互,并以用戶容易理解的方式呈現(xiàn)信息。
Eric Hayes認(rèn)為用戶洞察系統(tǒng)可能是ChatGPT感知智能提升的80%以上的原因!
Eric Hayes還發(fā)現(xiàn)這些洞察可能并非實時生成,而是通過批處理(例如每周運(yùn)行一次的定時任務(wù))來更新。
它通過將用戶查詢建模為聚類優(yōu)化問題,從而從大量歷史消息中提取出獨特的、有用的洞察。
這對用戶體驗意味著什么?
正是這些復(fù)雜的記憶系統(tǒng),讓ChatGPT在使用時感覺如此「好用」!
保存記憶讓你直接設(shè)定偏好,讓ChatGPT為你量身定制回應(yīng)。
用戶洞察則自動化了這一過程,即使你不明確告知,ChatGPT也能根據(jù)你的歷史行為自動調(diào)整其回應(yīng),提供更貼切的解釋,避免重復(fù)提問。
聊天歷史系統(tǒng)確保了對話的連貫性,讓你在回顧舊話題時,ChatGPT依然能維持對先前互動的共享知識,避免重復(fù)、循環(huán)或矛盾的交互。
可以說,ChatGPT的記憶系統(tǒng)超越了簡單的上下文窗口,通過分層、智能地存儲和檢索信息,極大地提升了用戶體驗,讓它感覺更像是一個能夠?qū)W習(xí)和成長的智能伙伴。
參考資料:
https://x.com/karpathy/status/1929597620969951434
https://macro.com/app/md/54115a42-3409-4f5b-9120-f144d3ecd23a