千言-情感分析2.0發(fā)布，三大數據集升級打造中文情感分析影響力
數據集是推動自然語言處理技術進步的基石。為應對自然語言處理技術應用中面臨的多領域、多場景等諸多挑戰(zhàn)，百度聯合中國計算機學會、中國中文信息學會，于2020年8月共同發(fā)起中文自然語言處理數據共建計劃——“千言”， 推進中文信息處理技術的進步。
發(fā)布一年多以來，“千言”已針對開放域對話、閱讀理解和情感分析等8個任務，匯集了來自11所高校和企業(yè)的28個開源數據集。其中，情感分析作為自然語言處理技術的基本任務之一，涵蓋了句子級情感分類、評價對象級情感分類、觀點抽取三個經典任務數據集，吸引了來自京東、網易、小米、平安、OPPO、新浪等多家知名企業(yè)的近300支團隊參加打榜。
近日，為了更好地推動情感分析技術在大規(guī)模產業(yè)化的應用，百度聯合中國中文信息學會情感計算專業(yè)委員會、美團共同發(fā)布千言-情感分析2.0，實現兩方面的重大提升。首先，在繼續(xù)關注模型準確率效果的同時，加強對模型是否“可信”的評估，發(fā)布業(yè)界首個中文情感可信數據集DuTrust；其次，針對產業(yè)化中面臨的任務類型、數據模態(tài)多樣化的難題，提供面向真實應用場景的大規(guī)模、高質量、多模態(tài)的情感分析數據，發(fā)布業(yè)界最大規(guī)模的中文評論分析數據集ASAP和面向推薦場景的多模態(tài)情感標簽數據集DuVideoSenti。
發(fā)布業(yè)界首個中文情感可信數據集DuTrust
“可信AI”的概念在近幾年提出，并且逐漸成為全球共識。可信AI，就是保證AI系統的公平性、可解釋性、魯棒性和透明性，確保算法可被人信任。在情感分析技術的科學研究和產業(yè)落地中，可信情感分析系統需要模型具備較強的魯棒性，還需要模型具備可解釋能力，也就是需要模型既能給出精準的預測結果，還能給出其判斷依據，從而保證模型的預測結果更加置信。
作為業(yè)界首個中文情感可信數據集，DuTrust基于人工標注的擾動數據和情感證據，全部來源于真實用戶評論數據，同時測試模型的魯棒性和可解釋性，全面評估模型的可信能力。
|
輸入樣例 |
情感類別 |
判斷依據 |
|
|
原始樣例 |
非常不錯的酒店，離海很近 |
積極 |
不錯 酒店，離海近 |
|
擾動樣例 |
非常不錯的酒店，但離街道太近了 |
消極 |
不錯 酒店，街道近 |
中文情感可信數據集DuTrust數據樣例
以上述評論數據為例，DuTrust首先為每個樣例對應標注一個擾動樣本，并且標注原始樣本和擾動樣本的情感類別，通過計算模型在原始樣例和擾動樣例上預測的準確率（Accuracy）作為模型魯棒性的評估指標。
此外，DuTrust還分別為原始樣例以及擾動樣例人工標注了情感的判斷依據，在可解釋性評估時，需要用戶同時給出模型的情感判別依據，最終通過計算其與人工標注結果在字粒度上重合度F1值（F1-measure）作為模型可解釋性的評估指標。
聯合發(fā)布業(yè)界最大規(guī)模的中文評論分析數據集ASAP
在電商場景下，一般來說情感分析涉及評論得分預估和對象級情感分類兩個最基礎的任務。兩個任務之間天然存在很強的關聯性，且在商業(yè)應用中也通常一起使用。然而現有的中文公開數據集大都針對兩個任務分別構建，未能將兩類任務有效聯系起來。
此次“千言”與美團聯合發(fā)布的業(yè)界最大規(guī)模中文評論分析數據集ASAP，首次實現對評論得分預估和對象級情感分類兩個任務的聯合標注，數據全部源于真實的電商場景，從數據規(guī)模和標注質量上都遠超其他數據集。
|
評論文本 |
評論得分 |
評價對象 |
情感類別 |
|
交通還挺方便的，環(huán)境看起來很高大上的樣子，但是因為主廳在舉辦婚禮非常混亂，特別吵感覺，但是裝修的還不錯，感覺很精致的裝修，門面很氣派，周末去的時候還需要等位。味道的話我覺得還可以但是跟價格比起來就很一般了，性價比挺低的，為了去吃宮保蝦球的，但是我覺得也就那樣吧蝦不是特別新鮮，不過蝦球很大，味道還行。服務的話由于人很多所以也顧不過來上菜的速度不快，但是有送水果杯還挺好吃的。總之就是典型的婚宴餐廳不是適合普通朋友吃飯的地方了。 |
3 |
交通方便 |
積極 |
|
點菜/上菜速度 |
消極 |
||
|
性價比 |
消極 |
||
|
裝修 |
積極 |
中文評論分析數據集ASAP數據樣例
該數據集針對輸入的評論文本，人工標注整體的評論得分（1-5分），以及對應不同評價對象的情感類別（積極、消極、中性三種），并且使用準確率（Accuracy）評估模型的預測效果。
發(fā)布面向推薦場景的多模態(tài)視頻情感標簽數據集DuVideoSenti
目前，個性化推薦技術迅猛發(fā)展，成為繼搜索引擎之后的又一重要的信息獲取途徑。推薦系統的目的是為用戶提供個性化的內容和服務，幫助用戶快速高效的獲取個性化信息。
在真實的應用場景中，往往存在大量內容題材、質量相同，但卻能給用戶帶來不同視覺沖擊和情感感受的資源。針對這類資源，需要構建能夠刻畫用戶不同的視覺和情感感受的完備的標簽體系，才能將其更好地應用于推薦系統，提升用戶的體驗。
千言面向推薦場景推出多模態(tài)情感標簽數據集DuVideoSenti，引入視頻情感泛標簽預測任務，構建了視頻情感泛標簽體系。該體系由人工定義的“文藝清新”、“時尚炫酷”、“舒適溫馨”等11個情感泛標簽組成，用以刻畫用戶瀏覽視頻后的視覺和情感方面的感受。數據集為每個小視頻標注了情感泛標簽，并且提供了視頻的標題、幀圖特征用于模型的訓練和預測。在測試中使用準確率（Accuracy）用于評估模型的預測效果。本數據集聚焦情感分析技術在個性化推薦場景中的應用，同時有助于推動多模態(tài)學習技術的發(fā)展。
|
字段 |
樣例 |
|
URL |
http://quanmin.baidu.com/sv?source=share-h5&pd=qmsharesearch&vid=5093910907173814607 |
|
標題 |
#創(chuàng)意簡筆畫#可愛小貓咪怎么畫？ |
|
情感泛標簽 |
呆萌可愛 |
|
視頻內容 |
多模態(tài)視頻情感標簽數據集DuVideoSenti數據樣例
為了進一步推動情感分析相關研究，中國中文信息學會情感計算專業(yè)委員會與千言開源數據集項目組（www.luge.ai）還聯合舉辦“千言情感分析常規(guī)評測比賽”，目前已有來自國內知名企業(yè)及高校超1000位選手報名參賽。
據悉，本次比賽就以千言-情感分析2.0為核心，全面評估情感分析模型在多種模態(tài)場景下的預測準確率、模型的魯棒性和可解釋性指標。除了有挑戰(zhàn)性的賽題，百度飛槳 AI Studio 將為選手提供免費的Tesla V100 GPU算力，千言數據集還將為優(yōu)勝團隊頒發(fā)證書，并發(fā)放精美的定制禮品。
未來，希望有更多的情感分析領域科研學者、領域專家參與共建千言-情感分析榜單，共同推動中文情感分析技術的進步，建設世界范圍內的中文情感分析影響力。
