CVPR 2024 視頻場景解析挑戰賽第一名方案詳解
像素級場景理解是計算機視覺的基礎問題之一，旨在識別給定圖像中每個像素的對象類、mask和語義。與圖像場景解析相比，視頻場景解析引入了時間信息，可以有效提高預測的一致性和準確性，因為現實世界實際上是基于視頻的，而不是靜態的。
本文采用基于不可靠偽標簽的半監督視頻語義分割方法。然后，將教師網絡模型與學生網絡模型集成，生成偽標簽并對學生網絡進行再訓練。本方法在開發測試和最終測試中分別獲得了63.71%和67.83%的mIoU分數。在CVPR 2024的野外挑戰賽中獲得了視頻場景解析的第一名。
簡介
Video Scene Parsing in the Wild（VSPW）是一個視頻語義分割數據集，包含3536個視頻和124個類別的標注。由于各種語義分割數據集的可用性，圖像語義分割取得了重大進展。該挑戰旨在為VSPW中測試集視頻的每個視頻幀分配逐像素語義標簽。挑戰的突出評估指標是mIoU。隨著深度神經網絡的發展和大規模標注數據的可用性，視頻語義分割（VSS）的能力得到了顯著擴展。
VSS是視頻圖像分割的時空變化，旨在預測連續視頻幀中的像素標簽。與圖像語義分割相比，現有的大多數VSS方法都強調對局部信息的利用。[4-6]這幾種方法利用光流預測對幀之間的時間信息進行建模。然而，光流可能會導致不平衡的張力。ETC在每幀分段預測中使用了時間損失和新的速度一致性知識提取，作為光流的有效替代。MRCFA挖掘跨幀仿射關系，以實現更好的時間信息聚合。TMANet是第一個使用時間記憶注意力模塊來捕捉VSS中幀之間的時間關系的工作。
LLVSS設計了一種高效的幀工作，包括自適應特征傳播和自適應關鍵幀調度。DVIS通過將VSS框定為初始分割任務，然后進行跟蹤，隨后使用綜合視頻數據細化分割結果，從而簡化了分割過程。CVPR 2023 PVUW VSS Track的第一位解決方案專注于增強具有對比損失的時空相關性，并利用具有標簽映射的多數據集訓練來提高模型性能。
方法
本節描述了網絡的總體架構。然后介紹了一種基于不可靠偽標簽的半監督視頻語義分割方法。首先在有標簽數據上訓練教師網絡和學生網絡，然后使用教師網絡生成偽標簽，將它們與原始數據集組合形成新的數據集，然后對學生網絡進行再訓練。通過半監督訓練，提高了模型在未標注數據集上的性能。
概述
Transformer是一種基于保持機制的神經網絡模型，在自然語言處理和其他序列數據處理任務中取得了顯著成功。近年來，隨著Transformer技術的發展，它在分割領域也取得了顯著進展。鑒于One peace算法在ADE2K數據集的語義分割領域取得了最先進的性能，選擇它作為教師網絡。同時選擇ViT Adapter算法作為學生網絡。
半監督方法
隨著深度學習方法的發展，分割性能有了質的提高。然而，高性能的深度學習模型需要大量的數據和標注，尤其是像素級的標簽，這需要巨大的人力和時間成本投資。因此，基于半監督學習的方法受到研究者的青睞。半監督學習的核心問題是有效地利用未標注樣本作為標注樣本的補充，從而提高模型的性能。傳統的半監督方法通過篩選樣本來保持高置信度的預測結果，但這些結果導致大量未標注的數據得不到有效利用，導致模型訓練不足。對于一些不可預測的類別，很難將正確的標簽分配給未標注的像素。因此，我們將不可靠的預測結果視為負樣本來參與模型訓練，讓所有未標注的樣本在訓練過程中發揮有效作用。
偽標簽策略
為了避免過擬合錯誤的偽標簽，使用每個像素的概率分布熵來過濾高質量的偽標簽。具體而言，將表示為分割頭在像素j處為第i個未標注圖像生成的softmax概率，其中C是類的數量。
其中（）是第c維上的的值。將像素j處的第i個未標注圖像的偽標簽定義為：
使用像素級熵來區分偽標簽中的可靠像素和不可靠像素。
方法的pipeline
如圖1所示，如何從未標注的數據中提取有效的信息是一個關鍵因素，因此使用半監督學習方法。具體來說，在第一步中，使用標注的訓練數據來訓練教師網絡模型和學生網絡模型，然后使用多尺度和水平翻轉來增強測試和模型集成以生成偽標簽。
然后，將未標注和標注的數據集組合成一個新的數據集，并繼續微調學生網絡模型。對于偽標簽，使用像素級熵來過濾可靠像素和不可靠像素。對于作為負樣本的不可靠像素，使用比較損失訓練來確保在訓練過程中可以有效地使用整個偽標簽。
損失
對于每個標注的圖像，目標是最小化等式（4）中的標準交叉熵損失。對于每個未標注的圖像，首先使用教師模型進行預測。然后，使用像素級熵來忽略方程（5）中不可靠的像素級偽標簽和無監督損失。使用對比損失來充分利用等式（6）中排除的不可靠像素。為了獲得更好的分割性能，最大限度地減少整體損失，可以將其形式化為：
實驗
本部分將描述方法的實現細節，并在PVUW2024挑戰測試集上報告結果。
數據集
VSPW數據集標注了124類真實世界場景，其中包含3536個視頻，總共251633幀。在這些視頻中，訓練集中有2806個視頻，驗證集中有343個視頻，測試集中有387個視頻。為了豐富我們的訓練樣本，訓練集和驗證集都用于訓練。由于Transformer模型中的參數數量很大，增加訓練樣本的數量有利于提高模型的性能。引入了額外的數據來訓練我們的模型，例如ADE200和COCO數據集。在訓練階段，我們的模型的主干在ImageNet22K數據集上進行預訓練。COCO數據集用于在預訓練階段訓練整個模型。通過標簽重映射將COCO和ADE20k數據集標簽映射到VSPW數據集，并且將VSPW中不存在的類別標為255。
訓練配置
消融研究
隨著transformer技術的快速發展，基于transformer的模型在密集目標檢測和分割領域表現出了強大的特征表達能力，甚至在一些復雜場景中保持了良好的魯棒性。因此，探索了基于transformer的模型在視頻語義分割任務中的應用。不同骨干和方法的實驗結果如表1所示。
從表中可以看出，選擇One peace作為骨干的性能明顯優于Swin-L、BEiT-L和ViT-Adapter-L。在隨后的實驗中，繼續探索網絡輸入分辨率、多尺度和翻轉增強測試、半監督訓練和模型集成對分割性能的影響。
半監督訓練
半監督學習旨在從未標注的數據中提取有效的信息，從而提高模型的性能。受此啟發，選擇了一個地方作為教師網絡，ViT Adapter作為學生網絡。首先，在標注的數據集上訓練教師和學生網絡，并通過多尺度和翻轉增強的測試和模型驗證生成偽標簽。將未標注和標注的數據集組合到一個新的訓練集中，以繼續微調學生網絡。
相信在半監督模型訓練中，偽標簽的每個像素都是重要的，即使它的預測是模糊的。直觀地說，不可靠的預測可能會在概率最高的類別中直接混淆，但對于不屬于其他類別的像素，它們應該具有可信度。因此，這樣的像素可以被判斷為最不可能類別中的負樣本。從表3中可以看出，半監督訓練和模型集成將mIoU提高了約0.4個百分點。
推理增強
在推理階段，將繼續探索影響模型性能的因素。通過對每個標度使用多尺度和水平翻轉在mIOU度量上獲得更高的分數，其中所選標度為[512./896.640./896.768/896.896.1024./896.1152./896.1280./896.1408./896.]。從表2和表3中可以看出，與單尺度結果相比，多尺度和水平翻轉結果使mIoU指標增加了0.4個百分點。
為了進一步提高模型的性能，將裁剪尺寸為896的教師模型和學生模型集成在一起，并在PVUW測試部分1的mIOU上獲得最高分數。通過結合多尺度和水平翻轉增強測試、半監督訓練學習和多模型集成技術，在PVUW語義分割挑戰的最終測試集上取得了最先進的結果。最后，在最終測試集中獲得了第一名，如表4所示。我們方法在VSPW測試集上的定性結果如圖2所示。
結論
本文首先選擇了一個非常適合多類語義分割任務的強基線模型。采用了一種基于不可靠偽標簽的半監督視頻信號分割方法。方法有效地利用未標注樣本作為標注樣本的補充，以提高模型性能。提出了一種集成方法，通過融合不同模型的結果來獲得更準確的概率。這些技術結合在一起，創造了一個全面的解決方案，在CVPR 2024大會上獲得了PVUW挑戰VSS賽道的第一名。結果證明了解決方案在解決多任務語義分割問題方面的有效性和通用性。
本文轉自 AI生成未來 ，作者：Biao Wu等
