成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

馬斯克xAI首個研究成果發布!創始成員楊格&姚班校友共同一作

人工智能 新聞
描述神經網絡架構的統一編程語言Tensor Programs——相關成果,在GPT-4中已有應用。

馬斯克的xAI,首項公開研究成果來了!

共同一作之一,正是xAI創始成員、丘成桐弟子楊格(Greg Yang)。

此前,楊格就曾公開表示,自己在xAI的研究方向是“Math for AI”和“AI for Math”。

其中一項重點就是延續他此前的研究:

描述神經網絡架構的統一編程語言Tensor Programs——相關成果,在GPT-4中已有應用

這次的新論文,就歸屬該系列,重點探討了“如何訓練無限深度網絡”。

圖片

為此,楊格本人還專門在??上進行了一場直播分享。

一起來看看有哪些精彩內容值得mark~

訓練無限深度神經網絡

簡單來說,這篇文章研究的是殘差網絡(ResNet)在深度方向的擴展。

我們知道,殘差網絡解決了深度增加時,深度卷積神經網絡性能退化的問題。但當網絡繼續加深,訓練一個好的深度殘差網絡仍非易事:

當網絡加深時,特征的規模會不斷增大,導致網絡不穩定;加深網絡后,需要重新調整超參數,工作量不小……

楊格和他的小伙伴們的想法是,找到一種深度參數化方法,既可以學習特征,又可以實現超參數遷移。

他們首先想到了無限寬神經網絡存在的兩種極限情況:要么是核機(kernel machines),要么是特征學習器(feature learners)。對于后者而言,最佳超參數是不會隨寬度變化而變化的。

圖片

在這里,他們使用Tensor Programs框架分析了無限寬網絡的極限情況。

正如前文提到的,Tensor Programs是楊格的一項長期研究目標:用數學語言,建立能夠描述和分析神經網絡架構的底層編程語言

圖片

具體而言,Tensor Programs由矩陣乘法和激活函數組成。楊格發現,如果神經網絡函數能夠使用這種語言表達,就可以自動且完備地進行初始化分析。

數學推導的部分,這里不做具體展開,我們可以淺淺感受一下畫風……

圖片

在這些推導分析的基礎之上,作者提出了Depth-μP方法,可以實現深度方向上的超參數遷移,大大簡化了不同深度下的超參數調節。

Depth-μP包含以下要點:

  • 每個殘差分支和深度L的平方根成反比的系數a/sqrt(L)。
  • 每個權重矩陣的學習率隨深度L變大而減小,具體取決于優化算法的類型。對于SGD,學習率取常數η,對于Adam等自適應優化算法,學習率取η/sqrt(L)。

值得關注的是,作者發現,當殘差塊深度為1時,Depth-μP是深度參數化的最優方式,可以保證超參數隨著深度的增加而收斂,實現深度方向的超參數傳遞。

圖片

但當殘差塊深度≥2時,還是會出現超參數遷移失敗和訓練性能下降的問題。

圖片

另外,論文還探討了“特征多樣性”的概念,認為它在深度網絡中發揮著關鍵作用。

論文的另一位共同一作是來自普林斯頓的Dingli Yu。他本科畢業于清華姚班,目前在普林斯頓計算機科學系攻讀博士。

楊格在直播中都說了啥?

在直播中,楊格還就觀眾感興趣的問題進行了解答。在不改變原意基礎上,量子位對部分問題做了梳理。

Q:對于我們許多人來說,(論文內容)可能超出了我們的理解范圍。但我想知道,你提到的模型與我們能夠體驗到的ChatGPT以及OpenAI的技術有何不同?這篇論文與OpenAI的成果相比有什么顯著的差異或是創新點?

楊格:我簡單評論一下,我想說這些特性目前與實際應用并沒有直接關系,更像是研究性質的。

當然,做這一切的最終目標是為了讓模型更好、更安全,然后造福人類。我們現在所進行的是描述預期的效果,它不一定會有直接的影響。

現在我們同處一條船上,我們正在做我們所能做的事,無論是短期工作還是長期應用研究,都是為了讓它造福每個人。

Q:聽起來像是你們正在建造一個能夠進行推理的人工計算機大腦,所以這是你們正在研究的嗎?此外,我還是一位母親,我7歲的兒子對數學非常感興趣,你有什么可以讓他繼續對AI領域保持興趣和熱情的建議嗎?

楊格:“新型網絡”指的是人工神經網絡,我認為它是現代眾多技術的支柱,包括您每天使用的Google、Facebook、Instagram等,這些服務的底層都使用了這些人工神經網絡。這些網絡大約在六七十年前受到動物、人類的真實神經網絡啟發而誕生,但已與真實的神經科學有所偏離。

這些網絡本質上是數學問題,因此我們掌握這些新的數學問題后進行大量分析,可以深入地理解這些神經網絡。

雖然我們尚不明確真正的神經元的連接方式,但通過數學研究,我們能優化這些人工神經網絡,助力科技公司改善人們的生活。

關于您的第二個問題,聽說您的兒子對數學非常感興趣,這太棒了。這是在技術領域創造偉大成就和改善每個人生活的基礎。

我想給的建議是,首先您要保持您兒子對數學的熱情,這非常重要。一旦失去了這份熱愛,想再繼續學習就會變得很困難。

還要注意觀察他喜歡的東西,讓學習過程變得有趣,進一步激發他的興趣。同時,也要培養他對事物運作原理的好奇心,并嘗試培養一種科學思維,要在好奇心的驅使下研究。就像拆解事物,嘗試理解它們的工作原理。

如果一個人失去了對宇宙數學真理的探索熱情,可能很難再有前進的動力。總的來說,我建議您培養您兒子對這個世界,特別是對數學和科學本質的濃厚興趣和好奇心。

Q:我有一個更為抽象的問題。你有了深度趨近于無窮的想法,然后根據這種想法寫了這篇論文。那你是否考慮過采用不同架構的神經網絡?不是帶有神經元和無數層的標準架構,而是完全不同的東西。比如這些神經元的連接方式完全不同,也許是某種正方形?

楊格:其實關于非線性以及我們這項工作中對層數的洞察,都只是非常初級的研究。關于什么是合適的結構,或者應該是怎樣的結構,當然還有很多可以探討的問題。

像Meta團隊之前就研究了隨機連接神經元會發生什么,得到了一些有趣的結果。所以,這里絕對還有很多可以做的事情。現在我確實沒有具體的答案來說什么將是正確的或者更好的結構。

關于楊格

楊格出生于湖南省,小學畢業后去了美國,本科就讀于哈佛師從丘成桐教授。

圖片

△楊格與丘成桐,圖源:楊格推特

2017年,楊格哈佛畢業,之后在沈向洋引薦下進入微軟。

在微軟,楊格獲得了沈向洋的高度評價。幾個月前,在一場名為“基礎科學與人工智能”的論壇上,沈向洋公開表示:

微軟研究院平時只招博士生的,楊格作為一個本科畢業生進了微軟研究院。不僅進了微軟研究院,過去這五年還做得無比優秀,特別是在GPT發展過程中做了舉足輕重的貢獻。

值得一提的是,他本人也曾承認GPT-4就用到了他的μTransfer(Tensor Programs系列)方法。

而楊格對Tensor Programs的研究,從很早就開始了,2019年就發表了“Tensor Programs I”,在微軟工作時也是持續深入探索。他認為深度學習中幾乎任何計算都可以表示為Tensor Programs。

今年7月,馬斯克宣布成立新公司xAI,楊格離開微軟,加入xAI創始團隊,成為xAI的數學家。

加入xAI后,楊格不止一次透露Tensor Programs項目長期目標是開發大規模深度學習的“萬物理論”,也就是找到一種理論上的規則,可以真正理解AI大模型的行為

他還表示:

AI將使每個人都能以此前難以想象的方式理解我們的數學宇宙。

論文鏈接:https://arxiv.org/abs/2310.02244

責任編輯:張燕妮 來源: 量子位
相關推薦

2023-11-06 12:34:14

模型訓練

2023-07-14 10:13:23

馬斯克AI

2023-07-13 12:57:08

2023-07-17 06:35:37

2024-11-28 14:46:00

2024-06-12 11:54:21

2025-02-19 10:28:22

2023-08-05 12:51:14

馬斯克AI

2025-02-11 11:19:52

2025-07-01 04:45:00

馬斯克腦機接口

2023-11-06 09:25:00

馬斯克模型

2024-12-02 13:30:00

2023-12-25 09:07:50

AI人工智能Ferret

2025-01-16 09:20:00

AI論文模型

2014-12-15 09:57:43

綠色網格綠色數據中心

2022-01-23 10:53:47

星鏈互聯網衛星

2024-07-19 10:36:21

2025-02-24 13:00:00

2025-02-10 08:15:00

2023-11-06 21:07:23

人工智能聊天機器人Grok
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产片侵犯亲女视频播放 | 中文字幕一区二区三区四区 | 欧美日韩精品一区 | av永久免费 | 一级片在线观看 | 国产精品久久久久久久久久久免费看 | 久久亚洲天堂 | 日韩精品一区二区三区中文字幕 | 中文av在线播放 | 九九热久久免费视频 | 国产午夜精品一区二区三区四区 | 国产精品亚洲视频 | 在线播放亚洲 | 中文字幕精品一区二区三区精品 | 日韩欧美在线不卡 | 尤物在线视频 | 亚洲乱码国产乱码精品精的特点 | 欧美国产精品一区二区三区 | 精品一区二区三区免费毛片 | 欧美一级片中文字幕 | 精品国产一区二区三区成人影院 | 国产精品视频免费看 | www.婷婷 | 久久91精品国产 | 精品久久久久久久久久久久久久 | 精品视频国产 | 天堂色| 91私密视频| 涩爱av一区二区三区 | 亚洲一区二区在线播放 | 97久久精品午夜一区二区 | 色视频网站| 美日韩中文字幕 | 欧美成人激情 | 精品中文字幕在线观看 | www97影院 | 国产视频久久 | 国产综合久久 | 999久久久 | 四虎最新视频 | 蜜桃精品视频在线 |