• 論文鏈接：https://arxiv.org/abs/2306.16772
• 項目鏈接：https://cjerry1243.github.io/M3Act/
• 論文標題：M3Act: Learning from Synthetic Human Group Activities

引言

通過視覺信息識別、理解人群的行為是視頻監(jiān)測、交互機器人、自動駕駛等領域的關鍵技術之一，但獲取大規(guī)模的人群行為標注數據成為了相關研究的發(fā)展瓶頸。如今，合成數據集正成為一種新興的，用于替代現實世界數據的方法，但已有研究中的合成數據集主要聚焦于人體姿態(tài)與形狀的估計。它們往往只提供單個人物的合成動畫視頻，而這并不適用于人群的視頻識別任務。

在這篇文章中，作者提出了一個適用于多群組人群行為的合成數據生成框架 M3Act。實驗顯示，該合成數據集可以大大提高下游模型在多人跟蹤和群體活動識別上的性能，并可以在 DanceTrack 任務上替代超過 62.5% 的真實數據，從而在現實應用場景中降低數據標注成本。此外，該合成數據框架還提出一類新的任務：可控 3D 群體活動生成。該任務旨在利用多種輸入（活動類別、群體大小、軌跡、密度、速度和文本輸入）直接控制群體活動生成結果。作者嚴格定義了任務和指標，并提供了有競爭力的基線和結果。

數據生成

基于 Unity 引擎開發(fā)，M3Act 涵蓋了多種行為類型的人群數據，提供了高度多樣化和逼真的視頻圖像，以及全面的數據標記。與其他合成數據集相比，M3Act 提供了更為全面的標記數據，包括 2D 和 3D 標記以及細粒度的個人級別和群組級別標簽，因此使其成為支持多人和多組研究任務的理想合成數據集生成器。 

數據生成器包括 25 個 3D 場景、104 個高動態(tài)范圍全景圖像、5 種光線設置、2200 個人物模型、384 個動畫（14 個動作類別）和 6 個群體活動類型。數據生成過程如下所示，首先通過隨機化過程確定一個模擬情景內的所有參數，然后根據參數生成帶有背景對象、燈光和攝像機的 3D 場景，以及帶有動畫的人物模型群組。最后從多個視角渲染 RGB 圖像并導出標記結果。 

為確保模擬數據具有高度多樣性，M3Act 為數據生成過程的幾乎所有方面提供隨機化。這包括場景中的群體數量、每個群體中的人數、群體的位置、群體中人的排列、個體的位置、實例化角色的紋理，以及場景、照明條件、相機位置、角色、群體活動、原子動作和動畫片段的選擇。每個群體活動也被構建為一個參數化模塊。這些參數包括群體中的個體數量和群體活動內允許的特定原子動作。

最終生成的數據集分為兩個部分。第一部分 「M3ActRGB」 包含了 6000 次單一但多類型群體活動的模擬和 9000 次多群體多類型模擬，總計 600 萬張 RGB 圖像和 4800 萬個邊界框（bounding box）。第二部分 「M3Act3D」 僅包含 3D 數據。它由超過 65000 次 150 幀單一多類型群體活動的模擬組成，總時長達 87.6 小時。據作者所知，M3Act3D 的群體大小和互動復雜度顯著高于以前的多人運動數據集，是第一個針對大型群體活動的大規(guī)模 3D 數據集。

實驗結果

M3Act 的實際效果通過三個核心實驗展示：多人跟蹤、群體活動識別和可控群體活動生成。

實驗一：多人跟蹤

研究發(fā)現，在既有模型 MOTRv2 [1] 的訓練中添加合成數據后，模型在所有 5 個指標上都有顯著提高，特別是在 HOTA 指標上的排名中從第 10 位躍至第 2 位。同時，當訓練集中 62.5% 的真實數據被合成數據替換之后，模型依然可以取得相似的性能。另外，與其他合成數據源相比，如 BEDLAM 和 GTA-Humans，M3Act 為模型訓練提供了更大的性能進步，表明其更適合多人群體活動任務。最后，下表展示了不同模型在 M3Act 下的訓練結果。結果表明，M3Act 在各種模型中都是有效的。

實驗二：群體活動識別

類似地，M3Act 也提高了兩個既有群體活動識別模型的性能，如下表所示：隨著用于預訓練的合成數據量的增加，識別準確性不斷提高。使用 100% 的合成數據時，群體活動識別模型 Composer [2] 的準確率在群體級別平均提高了 4.87%，個人級別提高了 7.43%，而另一群體活動識別模型 Actor Transformer [3] 在群體級別上看到了 5.59% 準確率的增加，在個人級別上增加了 5.43%。

下表展示了使用不同輸入模態(tài)在 CAD2 和 Volleyball（VD）上的群體識別準確率。實驗中的性能增益表明，M3Act 的合成數據可以有效地利于下游任務，并橫跨不同模型、輸入模態(tài)和數據集。

實驗三：可控 3D 群體活動生成

作者提出了一個新型任務：可控 3D 群體活動生成。該任務旨在基于給定的活動類別標簽和任意群體大小，從高斯噪聲中合成一組 3D 人類動作。既有研究盡管可以生成多人動作，但它們限于雙人場景或具有固定人數的群體。因此，作者提出了兩個基線方法。在第一個基線方法中，群體活動通過重復調用單人運動擴散模型 MDM [4] 來實現，因此每個個體的生成過程都是獨立的。第二個方法則基于 MDM 增加了一個互動變換器（IFormer）。由于其對人類互動的建模，MDM+IFormer 能夠在一次前向傳播中產生協(xié)調的群體活動。

作者從在群體和個體兩個層面考慮以下評估指標：識別準確率、弗雷歇特初始距離（FID）、多樣性和多模性。此外，作者基于社會力模型，在群體層面增補了四個基于位置的指標：碰撞頻率、排斥互動力、接觸排斥力和總排斥力。結果顯示：

• MDM+IFormer 能夠生成具有良好對齊的角色位置的群體活動。請參見下面的定性圖。
• 兩個基線方法都能生成與輸入條件匹配的多樣化活動，但 MDM+IFormer 獲得了更好的 FID 分數。
• MDM+IFormer 中的互動變換器大大降低了生成的群體活動內的碰撞頻率。

結論

論文作者通過多模態(tài)和增強性能的三個核心實驗以及引入一種新的生成任務，展示了 M3Act 的優(yōu)點。在多人跟蹤和群體活動識別實驗中，他們觀察到了隨著更多合成數據的加入，模型對未見測試案例的泛化能力得到了改善。

此外，M3Act 中的合成數據可以替代部分目標領域的真實數據而不影響性能，從而有望減少訓練過程中對大量真實數據的需求，進而降低了數據收集和標注的成本。這一發(fā)現證明了小樣本甚至零樣本從模擬數據遷移到現實數據的潛力。

在可控 3D 群體活動生成中，盡管 MDM+IFormer 只是這一任務的基線模型，它仍然學習到了人物運動的交互規(guī)則，并在控制下生成對齊良好的群體活動。值得注意的是，盡管生成方法目前表現不及程序化方法，但它展示了直接從各種信號（活動類別、群組大小、軌跡、密度、速度和文本輸入）控制群體動作的潛力。隨著未來數據可用性增加和生成模型能力的提升，論文作者預計生成方法最終將占據優(yōu)勢，在社會互動和人類集體活動方面得到更廣泛應用。

盡管 M3Act 數據集中群體行為的復雜性可能受到數據生成過程中啟發(fā)式規(guī)則的限制，M3Act 在整合新的群體活動方面提供了顯著的靈活性，從而適應任何特定的下游任務。這些新群體可以來源于專家指導的啟發(fā)式規(guī)則、大型語言模型生成的規(guī)則或可控 3D 群體活動生成模型的輸出。此外，論文作者認識到合成數據與現實世界數據之間存在的領域差異。隨著未來版本中數據生成器中資產的增加，可以提高模型的泛化能力并緩解這些差異。