[[135790]]

5 月份的時候，百度超級計算機 Minwa 在計算機視覺挑戰賽（ILSVRC）上取得了“世界***的成績”，他們的系統在測試 ImageNet 分類數據集中的錯誤率僅為 4.58%，擊敗了谷歌、微軟等競爭對手。

而在 6 月 2 日，ILSVRC 的組織者指出，百度在測試過程中作弊，測試的頻率遠超規定次數。ImageNet 允許參賽方每周提交兩組測試結果。然而，百度在 3 月份的 5 天內提交了逾 40 次測試結果。對此，百度承認違規行為，并且已經就此事道歉。

曾在 ImageNet 測試中獲勝的人工智能公司 Clarifai CEO Matthew Zeiler 表示：

“這種做法十分糟糕，這正是為什么要將測試數據獨立服務器上，并限制訪問次數的原因。如果你知道了測試數據，你就會修改你的模型參數，怎么優化都可以。” 

目前，ImageNet 組織方已經要求百度停止在明年提交 ImageNet 測試成績。 

[[135791]]

相關報道一、百度在人工智能基準測試中取得全球***的成績

《華爾街日報》報道稱，百度在人工智能基準（Artificial Intelligence Benchmark）測試中取得全球***的成績。研究人員稱，這與百度的秘密武器“超級計算機 Minwa”有很大的關系。

在測試中，Minwa 掃描了擁有百萬張圖片的數據庫 ImageNet，并“學會”按照預先確定的 1000 個類別對圖片進行分類。在這樣的測試中，錯誤率越低代表識別越精確，目前，一般人的識別錯誤率為5%。微軟的軟件是 4.94%，Google 是 4.8%，而百度是 4.58%。值得一提的是，早前百度在這樣的測試中，錯誤率為 5.98%。與今天的相比，進步比較大。

或許因為這樣，在接下來的 18 個月里，百度計劃建造運算速度更加快，更加高級的計算機：一個每秒能夠執行7*1015 次計算的超級計算機，這足以躋身全球超級計算機排行榜前十名。

據悉，百度的 Minwa 包含 36 個服務器節點，每個節點由 2 個六核英特爾 Xeon E5-2620 處理器和 4 個 NVIDIA Tesla K40m GPU 構成。Minwa 超級電腦有 1.7TB 設備內存和 6.9TB 主內存。

相關報道二、ILSVRC 的組織者公布詳情，百度道歉

北京時間 6 月 2 日下午消息，百度在近期的大規模視覺識別挑戰賽(ILSVRC)中被曝存在違規行為。ILSVRC 的組織者已經公布了具體詳情，而百度的相關團隊已表示了道歉。

以下為郵件全文：

ILSVRC 社區成員：

這是繼 2015 年 5 月 19 日公告之后的后續聲明，其中包括更多細節和測試服務器的狀態。

從 2014 年 11 月 28 日至 2015 年 5 月 13 日，百度一個團隊使用至少 30 個帳號向測試服務器進行了至少 200 次提交，遠超每周只能提交兩次的限制。這其中包括在短時間內極高的用量。例如，在從 3 月 15 日至 3 月 19 日的 5 天時間里，提交次數超過了 40 次。圖A顯示了與百度團隊相關的 ImageNet 帳號的提交次數。圖B顯示了這些帳號與所有其他帳號活躍程度的對比。

圖A

圖B

這一期間獲得的成果在近期的 arXiv 論文中進行了報告。由于違反了測試服務器的使用規定，這些結果可能無法與其他團隊獲得并報告的結果對比。通過在測試服務器上測試多種略有不同的解決方案，有可能會出現以下情況：1) 基于測試結果，在一系列類似解決方案中選出***方案，從而獲得不大，但可能很重要的優勢；2) 直接基于測試數據，而不是訓練和驗證數據，選擇進一步的研發方式。

我們于 2015 年 5 月 14 日注意到了這些違規，并于 2015 年 5 月 17 日通知了論文作者。2015 年 5 月 22 日，在進行討論，并征求我們研究社區高級顧問的意見之后，我們通知作者：

1. 他們通過 ImageNet 測試服務器獲得的結果無法與他人的結果直接對比。

2. 對百度基于這些結果新提交的任何內容，我們持懷疑態度。這包括關于 ILSVRC 挑戰任務的所有提交內容，以及共享數據集的一部分。因此，我們要求他們在未來 12 個月內停止向評估服務器和挑戰任務提交任何內容。

我們正在與涉及此次事件的團隊進行溝通。他們請求我們向整個社區轉發包括以下聲明在內的消息。需要指出，為了保持中立性和獨立性，我們沒有也不能與任何團隊合作，以表述或評估結果。

目前測試服務器已經重新上線。我們期待繼續在圖像識別領域取得進展。

ILSVRC 組織者

以下是來自百度該團隊的消息：

ILSVRC 社區：

近期，ILSVRC 組織者聯系了我們異構計算團隊，并告知我們，我們超過了每周允許向 ImageNet 服務器進行提交的次數(在我們項目的生命周期中約為 200 次)。

我們對這一錯誤表示道歉，并將繼續評估結果。我們已向研究論文《Deep Image: Scaling up Image Recognition》加入了注釋，并將在了解更多情況后提供相關的更新。

我們支持 ImageNet 挑戰的公平性和透明性，并將致力于科學發展的誠實性。

吳韌，百度異構計算團隊