國產深度學習框架MegEngine,三月底即將開源
2020 年我們應該選擇哪一種深度學習框架?現在又有了一個新選擇,據可靠消息,來自曠視 Brain++的 核心深度學習框架即將于 3 月底開源。曠視將通過開源和開放的形式將其強大的算力、各類 SOTA 模型和框架資源賦能給所有開發者和高校師生使用。
這一完全由國人自主研發,曾經支持過曠視所有領先技術的框架,勢必將會引來人們的廣泛關注。
在重磅介紹 MegEngine 之前,我們不得不向大家介紹一下曠視的人工智能算法平臺——Brain++。曠視首席科學家、曠視研究院院長孫劍曾表示:「曠視 Brain++ 讓規模化算法訓練成為可能。」簡單地理解,擁有能批量生產算法的 Brain++,對曠視來說就是生產力的躍遷。讓曠視的開發者來從拓荒期快速走上現代化的進程。
曠視 Brain++總體上可以大體分為三部分,其中即將開源的深度學習算法開發框架 MegEngine 是核心,其次是提供算力調度支持的深度學習云計算平臺 MegCompute,以及用于提供數據服務和管理的數據管理平臺 MegData。起家于計算機視覺的曠視之所以能夠快速發展,屢屢在 AI 競賽中屠榜,其背后的奧義在于:曠視通過 Brain++實現了算法創新上的小步快跑和自給自足,再進一步深究,其成功最根本的原因在于曠視的核心框架效果確實非同一般。
然而在各家廠商不斷開源 AI 工具的今天,曠視將自己的「殺手锏」推向整個社區究竟經過了何種考量?這還要從深度學習框架的發展歷程說起。
國產深度學習框架之路
什么是框架?就是前人已經開辟了一條路,后來者只需要跟著這條路走就對了。
眾所周知,人工智能風雨六十余載,是深度學習的出現讓人工智能產業的發展曲線走向新的拐點。然而早期的研發人員沒有任何「前人之路」可走。在深度學習的萌芽時期,Theano 這樣的元老級框架就曾指導我們寫出第一批強大的神經網絡;而后 TensorFlow 等繼承者讓神經網絡的編寫逐漸變得像搭積木一樣簡單。
深度學習的第一批探路者很多都是海外的知名學者,其背靠的深度學習框架也多是海外開發者創建與維護。從最開始蒙特利爾大學與伯克利大學提出的 Theano、Caffe 框架,到現在谷歌與 Facebook 維護的 TensorFlow、 PyTorch,深度學習框架的主流已經從學術機構轉向了科技巨頭。
既然框架基本都是開源的,國內科技企業還需要重新自研一套嗎?答案是肯定的,之所以 DL 框架從高校轉移到企業,是因為AI從不是局限于象牙塔里的學問,而必須面向真實的場景問題;是因為它們能用于生產,能作用于各種實際業務。目前國內有很多技術領先的科技企業,它們都有著獨特的業務場景與問題。這為研發自主的深度學習框架,構建更完美的硬件、算法系統提供了契機。百度開源的 PaddlePaddle 在自然語言處理等方面具有優異的積累;華為即將開源的 Mindspore,強調了軟硬件協調及移動端部署的能力。
對于開源工具的選擇就像「什么是最棒的計算機語言」這個問題一樣,開發者們各有偏愛也各有槽點,從目前形勢來看 PyTorch 和 TensorFlow 無疑是最流行的,國內的框架正積極發展。
但作為計算機視覺技術全球領先的創業公司,曠視研究院內部卻從未用過 TensorFlow 或 PyTorch 來做 AI 技術和產品的研發。因為曠視成立當初,AI 開發工具就是匱乏的,曠視在拓荒的過程中形成了自己的一套打法,造出了自己用起來順手的一套工具。
2014 年,曠視研究院搭建了 Brain++ 的核心引擎——MegEngnie,并將這套算法框架在公司內部推廣使用。隨著曠視在海量的計算機視覺任務和業務場景中的日積月累,這套深度學習框架在曠視已經被打磨的锃亮,曠視有 1400 多名研發者,他們都在使用自己的框架訓練、部署算法,即便有新同學加入也能快速學習上手,融入到曠視的研發生態中。
曠視深度學習框架 MegEngine 整體架構
據了解,正是依托于這套貫穿公司研發全流程的框架,曠視開發出了一系列可部署在云端、邊緣側以及移動端的深度神經網絡。其中對業界影響較大的比如 ShuffleNet,這是一套極高效的、輕量化移動端卷積神經網絡, 可以在基于 ARM 的移動設備上實現比 AlexNet 快 20 倍的速度,效率比谷歌的 MobileNet 還要高。
發展到今天,曠視 MegEngine 已經經歷了 5 年多的打磨,在深度學習框架的基礎上,曠視將這套 AI 開發工具升級為一個套件工具,將數據管理和計算資源統籌與框架整合為一個平臺——Brain++由此誕生,至少對于曠視來說,這套三位一體的算法平臺是提升 AI 企業生產力的根本。
正是有了這樣端到端的解決方案,曠視在世界各項人工智能競賽中屢屢奪冠,2017 年至 2019 年間,曠視曾一舉拿下 COCO 三連冠。COCO 是人工智能領域最具影響力的通用物體檢測挑戰賽,在計算機視覺領域享有很高聲譽。
曠視這套生產力平臺的高效和易用性來源于實踐。依據業務的真實需求構建框架,是一條更加面向實際的開辟之路,國內各大自主 AI 框架都在積極探索著它們的方向。而對于開發者而言,跟著它們探索的成果,就能針對國內業務場景做出最合適與好用的算法。正因為自主 AI 框架很有意義,曠視等公司的努力,也得到了國家的支持。
2019 年 8 月,在 WAIC 人工智能大會上,曠視和華為、京東、中國平安、小米等企業一同入選了國家人工智能開放創新平臺。在圖像感知方面,科技部宣布將基于曠視自主研發的人工智能算法平臺 Brain++ 及整合能力建設「圖像感知國家新一代人工智能開放創新平臺」,該平臺將面向全國科研人員開放,幫助實現先進深度神經網絡在云端、移動端及邊緣端計算平臺的部署。
輕快好省,曠視 MegEngine 從自用走向開源
曠視內部研發人員根據自用經驗介紹,MegEngine 的架構先進且支持訓練推理一體化,開發者可以利用最新的技術、最合理的 API、最好用的展現方式實現自己的構想,在性能、易用性等方面都有獨到的特點。
目前,曠視 MegEngine 主要支持曠視內部的算法開發工作,尤其是計算機視覺的深度優化等和大規模分布式訓練。經過 5 年工業實踐與「身經百賽」的驗證,曠視 MegEngine 正逐漸走向成熟,一些獨有的特性也逐漸凸顯。
首先在運算速度上,曠視 MegEngine 具備高性能計算核心,動態靜態結合的內存優化機制運算速度更快,且占用更少的內存資源;其次在易用性上,MegEngine 封裝了平臺細節,且接口兼容 PyTorch,新人用戶可快速上手;最后,MegEngine 還支持多種硬件平臺和異構計算,整個框架既可用于訓練又同時支持推理,實現模型一次訓練,多設備部署,能夠免除了不必要的轉換流程導致的性能下降和精度損失。
除以上性能,MegEngine 據稱也為 IoT 和視覺任務進行了特別的優化,廣泛支持各種芯片。通過領先的量化計算支持,其可以通過統一量化模型來支持多種設備,同時支持低于 8bit 的網絡推理。
坐穩計算機視覺大廠、AI 獨角獸位置的曠視,在 AI 產業的路上一路披荊斬棘,如今他們希望將自己用得得心應手的開發工具通過開源、開放的方式 回饋后人,幫助高校師生、傳統產業和中小企業用于人工智能算法開發,以期降低傳統產業與人工智能技術融科的門檻,激發更多人參與到人工智能生態的建設中來。
據埃森哲近日發布的《人工智能:助力中國經濟增長》報告預測,到 2035 年,AI 有望將中國經濟年增長速度從 6.3% 重新提升至 7.9%。在未來,人工智能將為經濟發展貢獻力量,而在這個過程中,我們會掌握越來越多屬于自己的核心技術。
曠視 MegEngine 的開源,或許會成為一個開始。