ChatGPT誕生內幕大曝光!發布前一晚還在糾結
ChatGPT誕生內幕最新大曝光:
納尼??原來“ChatGPT”這個名字,直到發布前一晚才確定下來。
而且當時OpenAI非常猶豫要不要發這個模型,因為據稱Ilya十次測試該模型,但僅有約一半的回答被團隊認可。
不過發布后,ChatGPT簡直一炮而紅——
第1天數據出來后,團隊開始懷疑“是不是搞錯了”;第2天,網上的討論進一步擴大;才到了第3天,團隊就意識到這個模型真·火了;并且進入第4天,他們意識到ChatGPT將改變世界。
以上消息均來自OpenAI最新播客,爆料人分別為Mark Chen(中間,OpenAI首席研究官)和Nick Turley(左一,ChatGPT負責人),都是在OpenAI工作多年的一線負責人。
除了大談特談ChatGPT崛起之路,他們還分享了OpenAI在圖像生成以及代碼方面的歷史進程,并且還總結了OpenAI的產品開發哲學……
雖然節目整整有1小時,但正如網友所言,整個節奏恰到好處,他們以引人入勝的方式為大家展現了ChatGPT以及OpenAI鮮為人知的一面。
一起來看看,這幫“書呆子”是如何改變世界的吧。
發布前一晚才確定用“ChatGPT”命名
ChatGPT的命名過程相當戲劇性,最早它被叫做“Chat with GPT-3.5”。
對,沒錯,就是這個非常拗口的名字差點名揚天下。
還好發布前一晚,Nick Turley他們冥思苦想,才改成了今天的——“ChatGPT”。
不過早期他們內部對ChatGPT也信心不足,畢竟底層模型GPT-3.5已經發布了幾個月,能力上也只是增加了用戶界面以及簡化了交互。
Ilya還曾在ChatGPT發布前一晚向它提出了10個刁鉆難題,但只有5個答案得以通過,所以其實他們連到底要不要發布都存在爭議。
但沒想到的是,它居然火了,還火得一塌糊涂……
據Nick Turley回憶,ChatGPT剛發布的那段時間相當混亂,所有人都以為是不是出了故障,懷疑它的爆火只是曇花一現,奧特曼還曾私下調侃道:
雖然看著它走紅很是令人興奮,但互聯網終歸是互聯網,總會降溫下去。
結果這次真的不一樣。后來的事相信大家也都清楚,媒體、社交平臺,到處都被這場ChatGPT颶風席卷,直到今天也依舊火爆。
但估計很多朋友現在都還不知道GPT代表什么,Mark Chen也是當場揭秘,表示是“Generative Pre-trained Transformer”(生成式預訓練Transformer)。
隨著ChatGPT的一路走紅,研究人員反而陷入困擾,面對GPU短缺、數據庫連接耗盡、服務商速率限制導致的系統宕機,他們創建了“fail whale”頁面,通過生成一首由GPT-3完成的詩歌自我調侃,提醒用戶:我們宕機了!
經常宕機的情況并沒有持續多久,OpenAI開始積極根據用戶反饋改進ChatGPT,主要是通過RLHF(使用人類反饋的強化學習),當用戶為對話提供積極反饋時,模型會訓練自己生成更迎合用戶的響應。
這導致模型早期為了取悅用戶過于諂媚,OpenAI也隨即發現了這個問題并及時進行了處理。
Nick Turley表示,ChatGPT作為一個實用產品,長期的優化目標并不在用戶的使用時長上,而是用戶的長期留存率,這也是他們構建產品的核心機制。
此外他也觀察到,越來越多人,尤其是Z世代在逐漸將ChatGPT視作“思想伙伴”,因此未來OpenAI也將積極檢測相關情況,確保模型行為得當。
在記憶用戶大量信息的同時,OpenAI也將會更注重提供“臨時聊天”等隱私保護功能。
圖像生成:另一個迷你ChatGPT時刻
而除了ChatGPT,OpenAI的圖像生成技術(ImageGen)也曾一度走紅。
Mark Chen坦言,這又是一個出乎他意料的東西。
按他的說法,ImageGen驗證了團隊之前的一個論點——當模型能一次性生成完美符合用戶提示的圖像時,所創造的價值將難以衡量。
因為從用戶角度而言,人們不想從一堆圖像中挑選最好的,而是需要出色的提示遵循能力和強大的上下文編輯等功能。
而從2021年1月起,OpenAI就開始推出了一直以來大名鼎鼎的“DALL·E”系列:
- 2021年1月,發布圖像生成模型初始版本DALL·E;
- 2022年4月,DALL-E 2問世;
- 2023年10月,DALL-E 3推出,并直接集成到了ChatGPT當中。
在Nick Turley的描述中,這些關于ImageGen的體驗就像另一個迷你ChatGPT時刻。
盡管內部已經覺得它很酷,但只有發布后才真正感受到了世界如何為之瘋狂。
他舉例說,僅在一個周末,就有5%的印度網民嘗試了ImageGen工具,“這讓我們接觸到了此前從未預料會使用ChatGPT的新用戶”。
并且他還預測,其他模態(如語音和視頻)也會有類似的魔法時刻——當它們達到用戶預期時,不僅會改變人們的生活,而且會進一步擴大ChatGPT的影響力。
有意思的是,他們還透露了一個非常“反直覺”的現象。
比如對于ChatGPT,團隊預期它會是一個純粹的實用產品,但實際上人們經常拿來娛樂;而對于ImageGen,本來以為人們會拿來搞搞表情包娛樂一下,結果大部分都是用于實際工作生活,如制作ppt插圖或家居設計。
與此同時,他們還聊到了DALL-E一開始對生成人物肖像的限制。
Nick Turley回憶自己剛加入OpenAI時,團隊其實對于應該向用戶提供哪些功能相對保守,畢竟當時這項技術還比較新。
但隨著時間推移,他們認識到,當對模型施加武斷的限制時,實際上會阻礙許多效果比較好的用法。
就拿生成人物肖像來說,當他們首次在ChatGPT推出圖像上傳功能時,還曾考慮要不要對圖片進行模糊處理,從而避免人們基于肖像進行推斷或說一些刻薄之言。
不過為了追求自由,他們逐漸摒棄了默認禁止這一做法。
總之,Nick Turley認為,有原則地審視不同類型、時間尺度和風險等級的安全問題是十分必要的。
而且在某些涉及AI安全的場景下,從最壞的結果出發進行考慮是非常恰當的。
OpenAI鼓勵員工使用編程工具
談及AI近幾年在代碼生成領域的發展,從GPT-3生成React組件,到專門訓練的模型如Codex和Code Interpreter,再到與Copilot等工具的整合。
Mark Chen認為,“編碼”其實相當廣泛,包括IDE中的實時代碼補全以及“Agentic”風格的代碼生成等不同類型,OpenAI目前在后者投入了許多。
ChatGPT是實時響應模型,輸入提示,就立馬給出答案,而Agentic編碼是指模型接受一個復雜的任務后,將在后臺長時間處理,最終返回一個接近最佳答案的結果。
Codex就反映了這種范式,相比快速回答,他們更希望模型會花時間思考推理,這也將是代碼領域的未來發展趨勢。
此外面對代碼領域激烈的市場競爭,Nick Turley則相當歡迎,他表示開發者將會在星羅棋布的產品中獲得最佳助力。
不過寫代碼容易,寫好代碼,卻并不容易。
如何保障代碼的正確性,如何構建組織內部的軟件、編寫好的測試和文檔,如何處理代碼分歧等,這些都是AI模型未來需要集中學習的“品位”和“風格”元素。
此外,OpenAI專注構建通用技術,像Codex,雖然當前定位是專業的軟件工程師,但考慮到其他用戶的使用需求,未來他們將繼續迭代優化,希望能降低編程門檻,讓人人得以軟件開發。
關于OpenAI內部如何使用這些工具,Nick Turley表示,他們的工程師使用Codex分擔測試任務,分析師會使用它來自動標記日志錯誤,也有員工用它來規劃未來的待辦事項。
OpenAI鼓勵員工使用編程工具,幫助提高生產力的同時,可以預測產品的未來走向。他們不會將自己不認可的產品推向市場,內部使用是一個預先檢驗,能讓他們及時了解到人們適應新工作流程所需的時間。
OpenAI內部:好奇心比博士學歷更重要
節目最后,他們還談到了OpenAI的內部文化以及一些個人預測。
原來在OpenAI招聘時,相比是否擁有AI博士學位,他們更看重候選人是否擁有強烈好奇心。
Nick Turley強調,在這樣一個快速變化的世界中,不斷學習和探索新知至關重要。
尤其對OpenAI產品團隊而言,好奇心是判斷最終能否成功的最佳指標。
AI領域有太多未知的東西。員工需要保持謙遜,因為在真正深入研究和嘗試理解之前,你無法得知什么是有價值的,什么又是存在風險的,唯有強烈的好奇心能驅使人們不斷學習和探索。
并且他還提醒,真正的瓶頸在于能夠提出正確的問題,而不是簡單地獲取答案。
說到這里,Mark Chen還補充了行動力和適應能力的重要性。
前者意味著員工能主動發現并解決問題(而不是被告知要做什么),后者意味著員工需要快速判斷什么重要并調整方向。
總之在Nick Turley看來,OpenAI之所以能快速推出產品,正是因為公司里有如此多具備行動力、能夠真正“交付”(ship)產品的人,并且公司內部的繁文縟節很少。
與此同時,隨著OpenAI的規模從最初的150-200人增長至約2000人,他們還通過獨立項目精簡人員配置、定期舉辦黑客馬拉松保持文化和精神。
聊完招聘,接下來他們二人還對未來進行了一波預測~
Mark Chen表示,在未來12~18個月內,最大的驚喜無疑是AI所展現出的“推理能力”,這種能力符合他們之前討論的“Agentic范式”,且目前已經能看到它在數學、科學和編程領域取得了巨大進展。
而Nick Turley則認為,下一步重點在于解決“智力受限”的問題。
任何“描述清晰且受限于智力”的問題都將通過產品得到解決。
舉個例子,對企業來說,目前模型還無法解決一些本質上很難的問題(如軟件工程、數據分析、卓越的客戶支持),但實際上這些問題很容易描述和評估。
對消費者也同樣,許多個人生活中相對麻煩的事情(如報稅、旅行規劃、購買高價值商品),所有這些問題都需要“多一點智能”和“合適的表現形式”。
并且Nick Turley預測,在未來一年半內,AI將出現新的“交互形式”。
聊天模式仍將非常有用,但會越來越多地出現“異步工作流”(asynchronous workflows)。
所謂“異步工作流”是指,用戶只需將任務發送給AI,讓其在后臺長時間處理即可。
他認為,這將改變人們對AI的看法,使其不再僅僅是一個聊天機器人。
最后的最后,對于我們普通人該如何應對正在狂飆突進的AI,二位的觀點倒是不謀而合——多用。
Mark Chen認為,最重要的是人們必須積極投入并使用這項技術;Nick Turley也強調,親自使用AI是消除恐懼和誤解的最佳方式。
One More Thing
就在以上節目播出后,OpenAI推文底下最高贊卻是:
啥時候發布GPT-5?(催更雖遲但到)
網友們也不是空穴來風,畢竟CEO奧特曼幾天前還在公開場合透露:
OpenAI計劃發布一個非常強大的開源模型。
它能夠讓人們在本地運行極其強大的模型,重新認識“本地部署”的可能性。
而且此前他也多次表示,OpenAI將在今年夏天推出新模型(雖然一推再推)。
不過有一說一,雖然Flag已經立好了,但OpenAI最近的日子恐怕不太好過。
這不,面對Meta小扎瘋狂挖人(幾周內連挖8名關鍵研究員),OpenAI內部目前實際上處于短暫停擺狀態——
最近一周基本停工,員工放假一周(高管繼續工作)。
所以這GPT-5怕是又難咯~