源于阿里巴巴淘系的工業生產流程，兼具質量與數量，模型包含豐富的幾何與紋理細節，阿里巴巴聯合學界開源的場景布局數據集 3D-FRONT 將填補大規模高質量 3D 場景布局數據集空白的現狀。

近期，阿里巴巴淘系技術部門的趙斌強、賈榮飛等與西蒙弗雷澤大學的張皓教授以及中科院計算所的高林、張凌霄多方共同合作，在 CVPR 2020 的 Workshop“Learning 3D Generative” 中開源了大型 3D 場景數據集 3D-FRONT（3D Furnished Rooms with layOuts and semaNTics），以填補目前學界在大規模高質量 3D 場景布局數據集上空白的現狀。其中，張皓教授是 CVPR 2020“Learning 3D Generative”Workshop 的核心組織者之一。

接下來我們來看 3D-FRONT 的技術細節。

3D 場景數據將推動基于 AI 的 3D 應用研究

圖 1：三維室內場景研究與應用。

3D 與 2D 場景理解是打造未來 AI 世界所研究的基礎核心課題，涵蓋機器人室內尋路、線上商城、室內設計等室內場景相關的應用。這些應用的背后涉及到語義分割、物體識別、場景生成等深度學習相關的理論與技術，而這些技術都是需要依賴大量數據來訓練相關深度模型從而發揮作用。

因此，高質量的大型 3D 場景數據集對于上述相關研究的推動具有重大意義。

然而，現階段學術界亟須大規模高質量的 3D 場景數據集以支持和推動數據驅動的智能化 3D 場景的相關研究，特別是具有高質量布局與室內設計的 3D 場景數據集。

目前，相關的數據集有，例如：普林斯頓大學提出的 SUNCG、斯坦福大學提出的 ScanNet、上海科技大學提出的 structured3D 等，但是這些數據集存在場景內容不夠豐富，數據規模不夠龐大的問題。比如，structured3D 數據集中雖然提供了 3 千多個場景，但是未能提供具有高質量紋理的三維模型數據。

圖 2：3D-FRONT 數據采集流程。

阿里巴巴作為世界級的電商互聯網巨頭，其官方家裝家居設計平臺 - 躺平設計家積累了海量高質量家居設計方案。

以這些真實家居場景為基礎，阿里巴巴淘系技術部結合 3D 人工智能技術初步打造了場景化數字營銷，推出了智能設計搭配服務，并創造了大量精美場景布局與設計數據。這些場景數據很好地契合了學術界的需求。

一言以蔽之，3D-FRONT 數據集源于阿里巴巴淘系的工業生產流程，兼具質量與數量。

3D-FRONT 填補學術界 3D 場景布局數據空白

圖 3：3D-FRONT 數據集屬性。

3D-FRONT 包含 6,813 個真實戶型，平均每個戶型包含 7 個房間場景，其中 19,775 個房間場景具有人工驗證過的精美室內設計信息。每個房間內涉及的家具均來自于阿里巴巴已開源的 3D 模型數據集 3D-FUTURE（3D FUrniture shapes with TextURE），該數據集的模型都包含豐富的幾何與紋理細節。

相比于其他 3D 場景數據集，3D-FRONT 在以下指標處于領先地位，包括戶型數目、房間場景數目和房間類型等，并且還提供了高質量硬裝模型和家具模型。

場景中的 3D 幾何模型具有豐富的幾何細節與高質量的紋理圖，這些幾何模型來自于阿里巴巴已開源的 3D 模型庫數據集 3D-FUTURE。

圖 4：3D-FRONT 與其他場景數據集對比。

目前，3D-FRONT 與 3D-FUTURE 數據集已對外開放并提供下載，同時，淘系技術部與今年 3 月同步發起第一屆阿里巴巴 3D 人工智能挑戰賽，目前初賽報名階段已結束，共吸引來自全球 1300 多支隊伍報名，共同參與并建立學術研究與工業應用的橋梁。大賽將于 8 月 21 日決出賽道名次，后續結果敬請關注。

3D-FRONT 數據集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-scene-dataset

3D-FUTURE 數據集主頁：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future

Learning 3D Generative Models CVPR 2020 Workshop: https://learn3dgen.github.io/

3D-FRONT 數據集貢獻者

3D-FRONT數據集的貢獻者共有7位，分別是來自阿里巴巴的Huan Fu、Bowen Cai、賈榮飛和趙斌強，中科院計算技術研究所的高林和張凌霄，以及西蒙弗雷澤大學的張皓。