不過半個月，何愷明又有新作了，這次的主題是：

去噪方法結合哈密頓神經網絡，讓AI更懂物理。

何愷明團隊認為，現(xiàn)有機器學習框架在處理物理問題時存在以下局限：

• 主要關注局部時間關系，如預測下一個時間步長的物理狀態(tài)，而忽略了長程和高層物理交互
• 主要聚焦于正向模擬，如根據(jù)初始條件預測系統(tǒng)的演變，而忽視了其他物理推理任務

受到生成圖像的擴散模型啟發(fā)，新框架去噪哈密頓網絡將哈密頓神力學運算符推廣為通用的神經運算符，既遵循物理約束，又利用神經網絡的靈活性和表現(xiàn)力，并在鐘擺等物理推理任務中展示了去噪哈密頓網絡的有效性和靈活性。

讓AI更懂物理，怎么做到的？

首先來介紹哈密頓力學，將系統(tǒng)的演化通過相空間中的軌跡表示，其中的動力學規(guī)律由哈密頓方程給出。

傳統(tǒng)的哈密頓神經網絡（HNN）將哈密頓量視為由神經網絡參數(shù)化的黑盒函數(shù)，并通過優(yōu)化參數(shù)最小化損失函數(shù)。

但HNN在推理時卻受到挑戰(zhàn)，由于確定新的系統(tǒng)狀態(tài)需要解決優(yōu)化問題，當可用數(shù)據(jù)由單個仿真軌跡組成而沒有額外的參考點時，就會變得困難。

新的解決辦法是把優(yōu)化過程合并到網絡中，統(tǒng)一了每個時間步長狀態(tài)優(yōu)化的去噪更新規(guī)則和跨時間步的哈密頓建模狀態(tài)關系。

首先，Block-wise哈密頓量設計將系統(tǒng)狀態(tài)按塊劃分和設置步長，建立起不同時間塊之間的聯(lián)系，可以觀察系統(tǒng)在不同時間尺度上的行為，超越了經典HNN僅對相鄰時間步的建模局限。

由于期望Block-wise哈密頓量不僅能對跨時間步的狀態(tài)關系進行建模，還能學習每個時間步的狀態(tài)優(yōu)化，以用于推理。

因此采用掩碼建模策略，在訓練網絡時，將部分輸入狀態(tài)掩碼掉。

具體操作上，向輸入狀態(tài)添加不同幅度的噪聲，而不是簡單地掩碼掉輸入狀態(tài)。

通過設計不同的掩碼模式，可實現(xiàn)適應不同任務的靈活推理策略：

• 自回歸掩碼：掩碼掉最后幾個狀態(tài)，類似于物理模擬中的下一狀態(tài)預測的前向建模。在正向模擬任務中，訓練時模型根據(jù)前面已知狀態(tài)預測被掩碼的后續(xù)狀態(tài)，學習狀態(tài)隨時間的演變規(guī)律，推理時利用這些規(guī)律預測未來狀態(tài)。
• 超分辨率掩碼：掩碼掉中間的狀態(tài)，可用于數(shù)據(jù)插值。在軌跡插值任務中，通過這種掩碼模式，模型學習根據(jù)周圍已知狀態(tài)來推斷中間被掩碼狀態(tài)的值，從而實現(xiàn)對稀疏軌跡的超分辨率處理。
• 任意順序掩碼：包括隨機掩碼，可根據(jù)任務需求自適應設計掩碼模式，增強模型在不同場景下的適應性。在表示學習任務中，隨機掩碼有助于模型學習到更魯棒的物理系統(tǒng)特征表示。

基于Block-wise哈密頓量構建的神經網絡基于僅解碼器Transformer。

總體是與GPT系列類似的架構，但沒有因果注意力掩碼，對每個軌跡使用潛空間編碼z作為哈密頓值輸出的查詢token，編碼每個狀態(tài)的噪聲標度并添加到位置嵌入中。

該架構不是依靠編碼器從軌跡數(shù)據(jù)中推斷全局潛空間編碼，而是采用自解碼器框架，為每個軌跡維護一個可學習的潛空間編碼z。

這種方法允許模型存儲和優(yōu)化特定于系統(tǒng)的嵌入，而無需單獨的編碼過程。

在訓練過程中，共同優(yōu)化網絡權重和Codebook。訓練后，給定一個新的軌跡凍結網絡權重，只優(yōu)化新軌跡的潛空間編碼。

在單擺和雙擺系統(tǒng)上進行實驗，測試了去噪哈密頓網絡在正向模擬、表征學習和軌跡插值三個任務中的性能。

正向模擬實驗中，噪哈密頓網絡比傳統(tǒng)哈密頓網絡在長期預測中表現(xiàn)更優(yōu)，顯示出更好的穩(wěn)定性和準確性。

表征學習實驗中，即使在輸入狀態(tài)存在噪聲和不完整的情況下，去噪哈密頓網絡也能恢復系統(tǒng)狀態(tài)，在處理不完整或損壞的觀測數(shù)據(jù)時具有較強的魯棒性，能夠提取到物理系統(tǒng)的關鍵特征。

軌跡插值實驗中，去噪哈密頓網絡即使在采樣非常稀疏的情況下也能保持較高的準確性，與其他基準模型相比能夠生成更平滑、更接近真實軌跡的預測結果，展示了其在處理稀疏數(shù)據(jù)方面的優(yōu)勢。

論文一作清華校友

這項研究由來自麻省理工學院、斯坦福大學、哈佛大學、布宜諾斯艾利斯大學、美國東北大學的研究人員聯(lián)合完成。

論文一經公布，作者就激情當起了自個兒的首批自來水（doge）。

一作Congyue Deng還在X上留下了幾個開放性問題：

在深度學習中，如何定義物理推理？
什么是物理模擬？
神經網絡應具備哪些物理屬性？

DHN并非終極解決方案，而只是一個開端 。

值得一提的是，Congyue Deng還是清華校友，2020年本科畢業(yè)于清華大學數(shù)學系，GPA（平均學分績點）在114個人里面排第一。

現(xiàn)在她是斯坦福大學計算機科學系五年級博士生，師從Leonidas Guibas。（這篇論文的部分工作是Congyue Deng在麻省理工學院做訪問生期間完成的）

今年9月起，她將成為麻省理工學院Tayebati博士后研究員，同時也是美國國家科學基金會（NSF）的人工智能和基礎相互作用研究院（IAIFI）研究員，與MIT大牛何愷明、Bill Freeman、Marin Solja?i?合作。

她的個人主頁介紹，研究興趣包括3D計算機視覺、幾何深度學習以及物理表示學習。

短期內，她專注于將幾何表示學習整合到生成模型中，以便更好地捕捉數(shù)據(jù)分布的低維流形結構，特別關注其在物理學和機器人領域的應用。從長遠來看，她希望從數(shù)據(jù)中揭示幾何結構，為神經網絡中歸納偏置的設計提供參考。

Congyue Deng還特別感謝了在論文中出鏡的貓貓，名叫Rell：

論文地址：https://arxiv.org/abs/2503.07596v1