阿里AI在常識QA領域的權威數據集CommonsenseQA上刷新世界紀錄，超過微軟取得***名，顯著提升AI的常識推理能力。而這項技術，是一名叫做葉志秀的95后“實習生”，在達摩院科學家指導下完成的實習成果！

正所謂長江后浪推前浪，又一個“別人家的孩子多優秀”系列。

最近，一個年輕人火了：95后的實習生在常識QA領域的權威數據CommonsenseQA上刷新了世界紀錄！

這位年輕人名叫葉志秀，他的這項工作是在達摩院科學家指導下完成的，并超越了微軟，取得了***名的好成績。 

CommonsenseQA是為了研究基于常識知識的問答而提出的數據集，比此前的SWAG、SQuAD數據集難度更高。目前***的語言模型BERT在SWAG、SQuAD上的性能已經接近或超過人類，但在CommonsenseQA上的準確率還遠低于人類。

阿里巴巴達摩院語音實驗室提出了AMS方法，顯著提升BERT模型的常識推理能力。AMS方法使用與BERT相同的模型，僅預訓練BERT，在不提升模型計算量的情況下，將CommonsenseQA數據集上的準確率提升了5.5%，達到62.2%。

CommonsenseQA相關論文已在arXiv上發表，并獲得NAACL 2019***資源論文。

鏈接：

https://arxiv.org/pdf/1811.00937.pdf

作者：

Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant（以色列特拉維夫大學、艾倫人工智能研究所）

摘要：

人們通常利用豐富的世界知識和特定語境來回答問題。近期研究主要聚焦于基于關聯文檔或語境來回答問題，對基礎知識幾乎沒有要求。為了研究使用先驗知識的問答，我們提出了一個關于常識問答的新型數據集 CommonsenseQA。為了捕捉關聯之外的常識，我們從 ConceptNet (Speer et al., 2017) 中抽取了多個目標概念，它們與某個源概念具備同樣的語義關系。

我們讓眾包工人編寫提及源概念的選擇題，并區分每個目標概念之間的差別。這鼓勵眾包工人編寫具備復雜語義的問題，而問答這類問題通常需要先驗知識。我們通過該步驟創建了 12247 個問題，并用大量強基線模型做實驗，證明該新型數據集是有難度的。我們的***基線基于BERT-large (Devlin et al., 2018)，獲得了 56% 的準確率，低于人類準確率（89%）。

下圖是構建 CommonsenseQA 數據集的過程示例：

自然語言理解（NLP，Natural Language Processing）被譽為人工智能皇冠上的明珠，而常識推理是其中難度***的任務之一。

我們所謂的常識，指的是與生俱來、毋須特別學習便已經擁有的判斷能力，或是眾人皆知、無須解釋或加以論證的知識。例如：打雷要下雨（磊歐）；下雨要打傘（嘞奧）。

雖然在機器翻譯、閱讀理解等常用NLP任務上，AI的表現已接近人類水平，甚至在某些場景下已經超過人類水平，然而一旦涉及到常識推理方面就成了白癡。比如我們看到行人打著傘就能自然的想到外面可能在下雨；而AI可能會分辨出所有傘的種類，卻無法做出“外面在下雨”的推斷。

在包含1.2萬多個常識問題的CommonsenseQA數據集上，現在已經能夠達到56.7%的準確率，依然遠低于人類的89%準確率。借用圖靈獎獲得者Yann LeCun的話，就是“最聰明的AI在常識方面都不如一只貓。”

但好在，如今這位阿里達摩院95后實習生的研究，將AI在常識推理方面的能力，向貓的水平推進了一步！

或許不久的將來，將會出現可以聽懂人話的“貓”。就像，加菲一樣？👇

[[270957]]