「數字孿生」東京上線!Jim Fan:具身智能零樣本遷移現實世界,共享「蜂群思維」
東京高分辨率點云3D數字孿生模型現已公開發布!任何人都可以免費下載。
項目地址:https://github.com/tokyo-digitaltwin
這一數字孿生模型的規模非常大,而且它對東京的刻畫也非常之精細——其絕對位置精度大約在10cm以內。
路上的斑馬線
對此,英偉達高級研究科學家Jim Fan表示,「越來越多的城市、房屋和工廠被導入模擬環境將是一個必然的趨勢」。
未來,機器人將不會孤立地進行訓練。它們將作為「鋼鐵艦隊」在實時圖形引擎中進行模擬,并通過一個巨大的集群進行擴展,以生成下一個數萬億級別的高質量訓練數據。
也就是說,將物理環境數字化并導入虛擬模擬世界,將極大加速機器人技術的發展。
通過在高精度模擬環境中訓練,機器人能獲得豐富的訓練數據,并在復雜場景中快速學習。
這種方法將推動機器人從虛擬世界到現實世界的順利遷移,提升其在實際應用中的效率和智能。
什么是城市數字孿生?
簡單來講,數字孿生就是將物理空間中的實體搬到網絡空間中進行重現。
當這種重現的精度達到了一定層次后,人們就可以通過使用從實體對象上的傳感器發送的實時數據來模擬行為并監控操作,實現構建和利用「孿生」城市。
對于城市進行的數字孿生其實也就是基于感知的城市數據,在網絡空間上像「孿生」一樣再現建筑物、道路等基礎設施與經濟活動、人流等各種要素。
也就是說,就像下圖這種連續循環的狀態一樣,可以通過基于從物理空間各個領域的活動中獲取的實時數據,在網絡空間中進行高級分析和模擬,并將其結果以交互式的形式高速反饋到物理空間。
根據Werner Kritzinger等人的研究,數字孿生有三個階段。
第一階段被稱為數字模型,現有的物理對象和表現它的虛擬空間之間的相互轉換是手動進行的狀態。在城市的數字孿生中,則是將已經擁有的歷史數據(例如:車流數據的再現等)在三維城市上再現的狀態。
第二階段被稱為數字陰影,是一種單向數據流的狀態,支持將物理對象自動轉換為數字對象。
第三階段是數字孿生,物理對象和數字對象,實現雙向完全融合,每一個對象變化,都會自動反映在另一個對象上。在城市的數字孿生中,是指在現實的物理空間和網絡空間中,進行雙向數據交換的狀態。
對于城市的數字孿生,其價值主要有:
- 與現實聯動的實時數據獲取:利用先進的傳感器技術和通信技術實時收集各種數據
- 利用3D空間的分析和模擬:在再現現實的空間中進行試驗等高級分析和模擬
- 反饋現實:將結果實時反饋到現實空間,用于決策、系統控制等
例如,新南威爾士州中將數字孿生技術與AI預測引擎應用于交通擁堵分析調控中,可以大幅降低因為交通擁堵而損失的社會效益成本。
數字孿生與模擬的對比
城市數字孿生是通過構建一個城市的數字化復制品,實時反映物理世界的狀態。
它隨著城市的實時運行而不斷變化,就像一個與現實城市同呼吸共命運的「影子」。這個模型不僅能夠反映城市的現狀,還能夠根據現實中的突發情況迅速做出反應。
相比之下,城市模擬是一個相對靜態的、基于假設和預設規則的模型。
它是對過去城市運行數據的提煉和總結,雖然能夠反映一定的規律,但相較于數字孿生的實時數據,精準度會稍遜一籌。城市模擬更像是依據城市過去的「病歷」來推測未來可能出現的病情。
總的來說,數字孿生和模擬都是基于虛擬模型的模擬,但存在一些關鍵差異。
模擬通常用于設計,在某些情況下還用于離線優化。設計人員將更改輸入到模擬中,以觀察假設情景。而數字孿生則是復雜的虛擬環境,人們可以與之交互并實時更新。它們的規模更大,應用更廣泛。
以汽車模擬為例,新駕駛員可以獲得身臨其境的訓練體驗,學習各種汽車零件的操作,并在虛擬駕駛時面對不同的真實場景。但是,這些場景與實際的實體汽車沒有關聯。
汽車的數字孿生則與實體車輛相關聯,并了解實際汽車的所有信息,例如重要的性能統計數據、過去更換的零件、傳感器觀察到的潛在問題、以前的維修記錄等。
城市數字孿生的三大支柱
城市數字孿生的三大支柱定義為「數據維護」、「數據可視化」和「數據分析」。
- 數據維護
對3D數字地圖、點云數據、GIS數據等數字孿生上處理的地理空間數據信息進行維護和聚合,其中包含數據收集、數據存儲與管理。
- 數據可視化
通過3D查看器等可視化系統,將復雜的數據轉化為直觀的圖形、圖表和三維模型,使得城市管理者可以看到整個城市的「數字畫像」。
例如,用熱力圖來展示城市不同區域的人口密度,用動態流線圖來表示交通流量的流向和擁堵情況,用三維模型來模擬建筑物的能耗分布。
這些可視化的呈現方式,讓城市管理者能夠一眼看清城市的運行狀態,仿佛擁有了一雙能夠透視城市的「慧眼」。
- 數據分析
通過各種應用模擬器,使用數字孿生上的數據進行分析,并將其用于措施。
以城市公共交通為例,通過分析乘客的出行時間、出行路線和出行頻率等數據,可以調整公交線路、優化公交車輛的調度,提高公共交通的運營效率,減少乘客的候車時間和出行成本。
在能源管理方面,分析建筑物的能耗數據,可以制定出精準的節能方案,降低城市的能源消耗,實現城市的可持續發展。
數據維護、數據可視化以及數據分析
東京數字孿生
東京數字孿生項目計劃于2030年實現,目前已經推出相關的beta版本。
體驗鏈接:https://3dview.tokyo-digitaltwin.metro.tokyo.lg.jp/?_ga=2.180157796.1370176531.1735090358-57006728.1735090358
如下面演示,東京數字孿生通過將城市環境的高度、經度、維度作為建模參數,利用3D點云測繪,實現了可視化整個城市為「數字孿生」。
如下視頻演示,東京數字孿生在災害應急救助時,也能派上大用場。
由于在通過航空激光測量等獲得的大規模點云數據中,存在激光無法到達的點云數據部分缺失的部分。
當需要點云數據的部分缺失時,可以通過使用易于使用的設備自行獲取點云數據并將其上傳到東京數字孿生項目中進行疊加來補充缺失部分。
例如在高架橋下、橋梁下、拱廊、隧道內等。下圖為表示橋梁下的點云數據缺失部位的例子。
對于變換較快的環境,考慮到時間與費用成本,很難進行頻繁的航空激光測量廣域點云數據進行頻繁更新。此時,用成本較小的簡易點云數據就更為現實。例如由于大雨、山體滑坡等災害而急劇變化的地形。
簡易點云數據可以通過激光掃描儀獲取。如下圖所示,激光掃描儀以恒定的間隔徑向地用激光束照射掃描目標區域。
其中,撞擊物體的部分激光會被反射回激光掃描儀,接收到反射激光束的激光掃描儀可以利用從照射到接收的時間來計算其到物體的距離,并計算接收到激光的物體表面的相對位置信息。在每個激光束的計算位置上打一個點,這些點的集合就是掃描區域的點云數據。
為了進行比較驗證,有研究人員使用在東京創建的參考點云(TLS/GNSS-static)進行了點云精度評估。他們使用CloudCompare的C2C距離函數來評估原始數據的準確性,而無需進行位置校正(ICP等)。
C2C距離的直方圖
直方圖中的藍色代表1cm以下的誤差,綠色則為2-3cm的誤差,紅色為4cm以上的誤差。
通過C2C距離直方圖,可以發現該點云數據具有著高精度水平的表現,這種精度水平足以具有廣泛的應用。
目前,評估結果還僅在某些地區可用,但如果整個東京都能夠獲得類似的準確性,那么數字孿生東京將具有出色的模擬質量,并且足以用于商業目的。