火山引擎論文入選國際會議ACM MM'24｜對齊人類主觀偏好的圖像質量評價方法
會議背景
2024年10月28日至11月1日，ACM Multimedia(ACM MM) 2024在澳大利亞墨爾本召開，該會議是中國計算機學會(CCF)推薦的多媒體領域的A類國際學術會議。2024年共4395篇參與審稿，最終錄用1149篇論文，錄用率26.1%。
火山引擎-流媒體技術與湖南工商大學、湘江實驗室合作的論文"Align-IQA: Aligning Image Quality Assessment Models with Diverse Human Preferences via Customizable Guidance" 被ACM Multimedia 2024 收錄。
論文鏈接：https://openreview.net/pdf?id=CdA18J5jJx
論文方案
論文背景
圖像質量評價（Image Quality Assessment, IQA）是圖像處理和計算機視覺領域中的一項重要任務，旨在模擬人類視覺系統對圖像質量的感知過程，構建與人類主觀判斷盡可能一致的客觀質量評價算法。最初，IQA的研究主要聚焦于評估經過特定處理（如壓縮、模糊或添加噪聲）的自然場景圖像、之后逐步擴展到用戶生成內容（User-Generated Content, UGC）（如使用智能手機等電子設備拍攝的圖像），以及近年來流行的人工智能生成內容（AI-Generated Content, AIGC）（如通過文本到圖像模型生成的圖像）。為了應對這些不同類型的圖像內容的質量評估需求，研究者們投入了大量精力，提出了多種IQA方法。然而，由于人類對于不同類型的圖像內容的偏好存在差異，如何使得IQA模型與這些偏好保持一致，依然是一個亟待解決的挑戰。盡管現有的IQA方法通過利用預訓練模型中的知識，在評估特定圖像內容（自然場景圖像、UGC圖像）方面取得了重大成功，但由于影響最終評估結果的復雜因素眾多，以及這些方法所特有的、精心設計的網絡架構，它們在準確捕捉人類對新型的圖像內容（AIGC圖像）的偏好方面仍存在不足。
基于可定制指導的對齊人類主觀偏好的圖像質量評價方法——Align-IQA
為了解決現有的IQA方法在準確捕捉人類對新穎圖像內容的偏好方面的不足，本文提出了一種基于可定制指導的對齊人類主觀偏好的圖像質量評價方法——Align-IQA。該方法能夠針對不同類型的圖像內容，生成與人類偏好高度一致的質量評分。
可定制指導注入模塊
在對自然場景圖像、UGC圖像和AIGC圖像進行質量評估時，人類能夠根據自身的知識和經驗靈活地調整評估標準。對于自然場景圖像和UGC圖像，人類評估的重點是圖像的視覺保真度；而對于AIGC圖像，除了視覺保真度之外，人類還會關注圖像與文本提示之間的語義一致性。為此，本文提出了一種可定制指導注入模塊（Customizable Guidance Injector, CGI），旨在根據不同類型的圖像內容（自然場景圖像、UGC圖像和AIGC圖像）引入相應的人類先驗知識，從而使得同一個質量評價模型能夠針對這些不同類型的圖像內容進行自適應評估。
具體而言，對于自然場景圖像和UGC圖像，CGI模塊通過引入視覺顯著性特征作為指導，來幫助模型提取與質量感知相關的特征；對于AIGC圖像，CGI模塊則通過引入圖像和文本提示之間的語義一致性特征，來引導模型提取與質量感知相關的特征。
多尺度特征聚合模塊
在人類視覺系統中，有許多視覺特性影響著人類對圖像質量的感知。為了構建一個能更貼近人類視覺感知的圖像質量評價模型，本文提出了一種多尺度特征聚合模塊（Multi-scale Feature Aggregator, MSFA）。該模塊通過模擬人類視覺系統的多尺度機制，能夠更全面且有效地提取與質量感知相關的特征。同時，它還結合了深度可分離膨脹卷積，以較少的參數高效地實現多尺度信息的提取和融合工作。
實驗結果
在八個公開數據集（四個自然場景圖像數據集：LIVE、CSIQ、TID2013和KADID-10K；兩個UGC圖像數據集：CLIVE和KonIQ-10K；兩個AIGC圖像數據集：AGIQA-1K和AGIQA-3K）上的實驗結果顯示，Align-IQA能夠針對不同類型的圖像內容，生成與人類偏好高度一致的質量評分。這充分驗證了Align-IQA的有效性和普適性。
總結
本文提出了一種基于可定制指導的對齊人類主觀偏好的圖像質量評價方法—Align-IQA，該方法能夠自適應地對自然場景圖像、UGC圖像和AIGC圖像進行高效的質量評估。為了實現這一適應性評估，本文提出了一個可定制指導注入模塊，用于根據不同類型的圖像內容引入相應的人類先驗知識。此外，為了更準確地從人類視覺感知的角度預測圖像的質量評分，本文提出了一個多尺度特征聚合模塊。實驗結果表明，Align-IQA在涵蓋多種圖像類型的八個公開數據集上，達到了優于或與SOTA方法相當的性能。
