人工智能已經(jīng)成為
一股強大的變革和推動趨勢,
慢慢進入了各行各業(yè)。
特別在企業(yè)級用戶領(lǐng)域,
AI的融入與應(yīng)用更為引人注目。
”
政策利導下的企業(yè)級AI價值在哪里?
IDC報告顯示,未來三年,在中國,人工智能整體市場的年復合增長率將超過50%,到了2020年,中國人工智能市場的整體規(guī)模將到達150.2億人民幣,其中政府、金融、醫(yī)療、制造等行業(yè)將占整體人工智能應(yīng)用市場規(guī)模的一半以上。
如此重要的未來趨勢,如此重要的市場潛力,自然受到了來自政府和行業(yè)的深切關(guān)注。
從國家政策角度看,從2015年開始,國務(wù)院和相關(guān)部委頻繁發(fā)布相關(guān)政策,推動人工智能的發(fā)展。比如在《中國制造2025》、“互聯(lián)網(wǎng) +”行動計劃、“十三五規(guī)劃”中,紛紛將人工智能列為著重發(fā)展的領(lǐng)域, 國家發(fā)改委2016年9月還將人工智能納入“互聯(lián)網(wǎng) +”建設(shè)專項。
2017年7月20日,國務(wù)院正式印發(fā)《新一代人工智能發(fā)展規(guī)劃》,明確提出了中國人工智能“三步走”戰(zhàn)略、八大關(guān)鍵技術(shù)研究、數(shù)十個產(chǎn)業(yè)落地、AI人才的培養(yǎng)和引進、以及成立人工智能規(guī)劃推進辦公室等戰(zhàn)略規(guī)劃。
這一系列的國家政策發(fā)文的激勵與引領(lǐng)下,人工智能已經(jīng)從國家戰(zhàn)略層面登上了中國的歷史舞臺,并逐漸在多個行業(yè)里面“生根發(fā)芽”。
以全球的眼光看重,盡管中國人工智能基礎(chǔ)支撐能力還存在不足,但是,中國已經(jīng)在深度學習技術(shù)及應(yīng)用創(chuàng)新平臺的構(gòu)建上發(fā)力了。同時在支撐大規(guī)模密集型計算、海量數(shù)據(jù)訓練、計算機視聽覺、生物特征識別、復雜環(huán)境感知、新型人機交互、 機器翻譯等技術(shù)的研發(fā)和工程化方面,不斷進取,以提升深度學習算法的綜合運用能力。
不過,按照國家在AI領(lǐng)域的發(fā)展大規(guī)劃,中國在AI人才培養(yǎng)上還需要下大力氣,依托更為豐富、堅實的人才基礎(chǔ),然后構(gòu)建中國的人工智能技術(shù)標準、服務(wù)體系和產(chǎn)業(yè)生態(tài)鏈。其最終目標就是要將人工智能核心產(chǎn)業(yè)規(guī)模發(fā)展到1500多億元,并帶動相關(guān)產(chǎn)業(yè)規(guī)模超過1萬億元。
為此,國家AI層面也帶動了行業(yè)AI轉(zhuǎn)型,從“互聯(lián)網(wǎng)+”到“人工智能+”,一個以人工智能為技術(shù)核心的新生態(tài)與新業(yè)態(tài)慢慢在形成。并且在幾個重要的行業(yè)中,AI所能發(fā)揮出來的價值已經(jīng)獲得了業(yè)界的認可。比如在金融行業(yè),人工智能在風險監(jiān)測、反欺詐、信用評估等方面發(fā)揮了重要等作用;在制造行業(yè),工業(yè)物聯(lián)網(wǎng)+實時數(shù)據(jù)分析則可用于故障診斷、個性化定制等。
不僅如此,在醫(yī)療行業(yè),利用深度學習等技術(shù)可進行診療圖像處理、輔助診斷應(yīng)用,未來還可以從就診前交互環(huán)節(jié)向下延伸至臨床診療、精準用藥,向上拓展至新藥研發(fā)環(huán)節(jié),形成醫(yī)療AI生態(tài)鏈;在物流行業(yè),倉儲及物流環(huán)節(jié)的無人車、無人機也正在成為新潮流。
業(yè)內(nèi)專家評論道:國家政策利導,企業(yè)級AI的價值逐漸顯現(xiàn),并在未來的發(fā)展中將會發(fā)揮著前所未有的作用。
企業(yè)級AI需要什么樣的基礎(chǔ)架構(gòu)平臺?
行業(yè)在發(fā)展,企業(yè)級AI的價值如此重要,也如此引人注目,那么企業(yè)級AI到底需要什么樣的基礎(chǔ)架構(gòu)平臺來支撐呢?
對此,中科院自動化所所長徐波表示:“我們始終堅持以智能技術(shù)作為研究所戰(zhàn)略發(fā)展的主要方向,并與戴爾中國共建聯(lián)合實驗室,將進一步加強研究所的計算平臺優(yōu)勢,增強科研與產(chǎn)業(yè)的融合創(chuàng)新,助力研究所在人工智能領(lǐng)域的創(chuàng)新發(fā)展。”
一個幫助企業(yè)實現(xiàn)基于深度學習的大數(shù)據(jù)分析,快速步入人工智能時代的先進人工智能深度學習平臺“諸葛·深知”也就這樣誕生了。
作為中科院自動化所和戴爾聯(lián)合開發(fā)對AI成果,“諸葛·深知”以業(yè)界領(lǐng)先的企業(yè)級深度學習應(yīng)用與服務(wù)平臺,幫助企業(yè)用戶提供深度學習工具包的統(tǒng)一接口,以及眾多成熟算法模型。這就明顯方便了企業(yè)用戶在AI領(lǐng)域的應(yīng)用與進步。
尤其是對于大量技術(shù)力量薄弱的中小企業(yè)來說更是需要“諸葛·深知”這樣的企業(yè)級AI平臺。因為當前深度學習框架、工具庫眾多,很多都是開源版本,適用場景各有不同,如何構(gòu)建一個統(tǒng)一、高效的深度學習管理平臺,滿足多種深度學習框架及工具庫的安裝、配置、管理,以及多重框架的并行工作,這對多數(shù)企業(yè)和機構(gòu)是一個巨大的挑戰(zhàn)。“諸葛·深知”有著先進的基礎(chǔ)架構(gòu)支撐,將各種工具集成在一個AI平臺上,對于企業(yè)用戶的AI應(yīng)用來說,可謂一步到位。
不過,要實現(xiàn)這樣的企業(yè)級AI平臺,其基礎(chǔ)架構(gòu)的構(gòu)建卻不是一步就可以到位的。
事實上,“諸葛·深知”對于基礎(chǔ)設(shè)施的需求較高,針對中科院自動化所用戶數(shù)量多、種類多、應(yīng)用多的實際情況,系統(tǒng)對于計算能力和存儲能力的需求都非常大。如在影像處理方面,要求800MB/s單線程帶寬訪問,能夠存儲32GB的數(shù)據(jù)文件。在訓練計算方面,要求GPU運算至少能支撐十幾個應(yīng)用并發(fā)等等,在計算和存儲方面有著不同于傳統(tǒng)企業(yè)級用戶的需求。
企業(yè)級深度學習應(yīng)用與服務(wù)平臺第一、二期架構(gòu)圖
從總體基礎(chǔ)架構(gòu)設(shè)計來看,“諸葛·深知”企業(yè)級深度學習應(yīng)用與服務(wù)平臺項目分為兩期進行。第一期的目標是基礎(chǔ)設(shè)施建設(shè),即搭建先進的通用計算平臺。第二期的目標是通過增強存儲和計算能力、增強 GPU能力等,滿足深度學習和機器人平臺的需求。
從“諸葛·深知” 實際建設(shè)的過程來看,深度學習應(yīng)用與服務(wù)平臺真正需要滿足的企業(yè)級AI基礎(chǔ)架構(gòu)有著三大關(guān)鍵。
其一,先進性和高性能,能滿足深度學習領(lǐng)域?qū)Ω咝阅苡嬎愫退惴▋?yōu)化等先進性的需求。
其二,穩(wěn)定性和高可靠性,可以保證深度學習平臺 IT 架構(gòu)的性能穩(wěn)定和安全可靠。
其三,可擴展性和靈活選擇,IT平臺具有可擴展性,能夠滿足未來應(yīng)用的需求和提高 IT投資回報率。同時,由于在深度學習領(lǐng)域有非常多的算法和框架, 企業(yè)或機構(gòu)的用戶使用時可能有多種選擇,如何讓用戶按需加載他們需要的文件或?qū)W習庫是深度學習應(yīng)用平臺需要解決的一大問題。
“諸葛·深知”正式發(fā)布之后,隨著一系列深度學習框架及工具集的推出,操作人員相比以往更容易在高性能計算集群上針對應(yīng)用進行深度學習建模、訓練、測試和調(diào)優(yōu),并且可以利用GPU技術(shù)實現(xiàn)成倍的浮點計算性能加速。
如何構(gòu)建企業(yè)級AI應(yīng)用的入口?
不僅企業(yè)級AI的基礎(chǔ)架構(gòu)平臺建設(shè)如此重要,同時AI對于企業(yè)用戶業(yè)務(wù)與發(fā)展的重要性也得到了業(yè)界到肯定,AI自身市場的高復合增長也進一步加深了大家對構(gòu)建企業(yè)級AI應(yīng)用的最佳入口的重視。
來自埃森哲的研究數(shù)據(jù)顯示,到2035年,人工智能有望將企業(yè)盈利能力提升38%,同時可能為中國經(jīng)濟增長率增加1.6個百分點。另據(jù)預測, 到2020年,全球深度學習系統(tǒng)市場規(guī)模將超過13億美元,2016~2020年間的復合年增長率將達到38.73%。
那么,如何構(gòu)建企業(yè)級AI應(yīng)用的入口,對戴爾、對中科院自動化所來說,無論是IT技術(shù)廠商還是科研機構(gòu),還是直接的企業(yè)用戶,這都顯得非常重要。
當前,“諸葛·深知”為數(shù)據(jù)密集、價值型行業(yè)提供以深度學習為基礎(chǔ)的大數(shù)據(jù)挖掘解決方案和計算平臺,逐漸成為累企業(yè)級人工智能應(yīng)用的入口。
為了保障這個企業(yè)級AI應(yīng)用入口的獲得穩(wěn)定、高效的運行,戴爾借助自身和合作伙伴在計算、存儲、網(wǎng)絡(luò)等多個領(lǐng)域等基礎(chǔ)架構(gòu)優(yōu)勢資源, 與科研資源強強聯(lián)合,推動人工智能跨越發(fā)展。
在“諸葛·深知”平臺建設(shè)過程中,中科院自動化所采用了戴爾及合作伙伴的先進技術(shù)和產(chǎn)品,包括戴爾高性能服務(wù)器、NVIDIA Tesla GPU、戴爾存儲服務(wù)器和戴爾大容量存儲設(shè)備、Intel Lustre高性能并行存儲、高性能Mellanox網(wǎng)絡(luò)產(chǎn)品,以及業(yè)界領(lǐng)先的BrightComputing HPC/Deep Learning軟件,并由戴爾中國的專業(yè)服務(wù)實施團隊進行安裝部署。
“諸葛·深知”軟硬件基礎(chǔ)架構(gòu)圖
從軟硬件系統(tǒng)的組成來看,硬件系統(tǒng)由CPU計算集群、GPU計算集群、大內(nèi)存節(jié)點集群、高性能存儲系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等組成。軟件系統(tǒng)由操作系統(tǒng)、集群管理和資源管理軟件組成。可以提供高性能計算平臺、大數(shù)據(jù)平臺和云平臺。用戶的訪問非常靈活,可以通過Web Portal、SSH登錄和ftp文件訪問。同時,通用計算平臺特別構(gòu)建了由用戶設(shè)定的服務(wù)體系以及安全體系。
企業(yè)級AI平臺架構(gòu)特別在哪里?
企業(yè)級AI應(yīng)用的入口需要的不只是某一個服務(wù)器或某幾臺服務(wù)器集群發(fā)揮出來的價值,更需要的是一個整體的軟硬件發(fā)揮出高性能。但是想要獲得突出的高性能,一個成功的企業(yè)級AI平臺架構(gòu),必然在具體的高性能計算與應(yīng)用方面有著非常特別而又實用的設(shè)計。
如前文所提到的“諸葛·深知”平臺建設(shè)分為一期通用計算平臺和二期針對深度學習和機器人應(yīng)用的平臺,這分步驟建設(shè)的平臺架構(gòu)中有所側(cè)重,自然有著特別之處。
在一期通用計算平臺中,采用12臺戴爾PowerEdge C4130 GPU服務(wù)器組成了高性能計算集群,同時搭建了容量為960TB的并行存儲系統(tǒng)Lustre。
其中,戴爾PowerEdge C4130高性能服務(wù)器針對HPC作業(yè)和VDI環(huán)境,1U空間擁有高密度的PCI插槽,并且支持1TB大內(nèi)存,以及最大4個300W的加速器和2 顆Intel Xeon E5-2600 v4 CPU,增強了IO能力的同時,還支持InfiniBand FDR、NVIDIA GPU DIRECT和Intel Omni-Path架構(gòu),對計算加速和網(wǎng)絡(luò)性能提供了更大的靈活性。
此外,采用Intel Lustre并行存儲系統(tǒng),可以通過單文件系統(tǒng)命名空間,存儲容量和性能獲得同步輕松擴展,滿足PB級文件存儲的高要求。其動態(tài)存儲擴展功能,實現(xiàn)了18.5GB/s的讀取速 率和15.1GB/s的寫入速率。
與此同時,搭配了Intel Hadoop Adapter for Lustre(HAL)大數(shù)據(jù)工作負載的解決方案設(shè)計,將HPC和Hadoop的數(shù)據(jù)融合到一整套存儲系統(tǒng)中,數(shù)據(jù)處理速度得到大大提升。
為了配合高性能計算和并行存儲獲得更高到效率,網(wǎng)絡(luò)方面采用了基于Intel Omni-Path架構(gòu)的戴爾Networking H系列交換機與每端口速率高達100Gb/s的Mellanox EDR InfiniBand高效網(wǎng)絡(luò)方案 。
在二期主要針對深度學習和機器人應(yīng)用方面,針對深度學習和機器人應(yīng)用進行了存儲系統(tǒng)的分別配置,同樣采用了12臺戴爾PowerEdge C4130 GPU服務(wù)器組成集群,對應(yīng)2個容量為480TB和240TB的NFS存儲系統(tǒng)用于深度學習。采用另外2臺C4130 GPU服務(wù)器和一個 240TB的NFS存儲系統(tǒng)用于機器人應(yīng)用平臺。如一期工程那樣采用多種計算平臺和多種高速網(wǎng)絡(luò)結(jié)合的方案, 以滿足深度學習和機器人浮點計算強度以及網(wǎng)絡(luò)傳輸需求。
其中,戴爾NFS解決方案的優(yōu)化設(shè)計配置,提供最高的數(shù)據(jù)吞吐量和峰值可達6.07GB/2.23GB的讀寫性能,很好滿足了深度學習和機器人平臺的性能嚴苛需求。
需要著重指出的是,戴爾Bright Cluster Manager(BCM)集群管理軟件與NVIDIA GPU這樣性能加速的關(guān)鍵部件的很好配合,在直接集成了NVIDIA驅(qū)動、工具集及管理API的情況下,用戶可以在各種深度學習框架下運行GPU,支持深度學習應(yīng)用跨越多臺物理設(shè)備的GPU資源。同時,BCM軟件還對NVIDIA GPU卡運行狀態(tài)、以及業(yè)界常用的人工智能與深度學習框架、工具集、函數(shù)庫與硬件驅(qū)動進行有效管理。
當然,既然“諸葛·深 知”平臺由戴爾與中科院自動化所聯(lián)合推出,因而也充分利用了雙方的技術(shù)優(yōu)勢,中科院的成熟算法模型,以及深度學習工具包的靈活調(diào)用,對于企業(yè)AI應(yīng)用與進階之旅有著立竿見影的作用。
企業(yè)級AI 未來已來
好的基礎(chǔ)架構(gòu)平臺自然可以構(gòu)建好的企業(yè)級AI應(yīng)用,企業(yè)級AI平臺架構(gòu)在高性能計算、并行存儲、高效網(wǎng)絡(luò)、強大集群管理軟件等共同配合下,也讓企業(yè)用戶可以用好AI得到了有效的保障。
隨著“諸葛· 深知”等全新認知的人工智能平臺的推出,為企業(yè)和機構(gòu)打開了利用人工智能的應(yīng)用窗口。
“諸葛· 深知”幫助用戶快速構(gòu)建企業(yè)級AI應(yīng)用,為企業(yè)用戶在AI領(lǐng)域的整體創(chuàng)新實力提升創(chuàng)造了基礎(chǔ)條件。在企業(yè)級AI應(yīng)用的進一步深入下,公共交通、營銷和媒體、法律服務(wù)、金融服務(wù)、 醫(yī)療保健服務(wù)、石油和天然氣等行業(yè)的業(yè)務(wù)創(chuàng)新與效率提升也將因此而改變,相關(guān)應(yīng)用企業(yè)也獲得了行業(yè)競爭力的增強,并加速企業(yè)用戶邁向數(shù)字化轉(zhuǎn)型。
顯然,以“諸葛·深知”為代表的
企業(yè)級AI應(yīng)用最佳選擇平臺,
也加快了行業(yè)用戶基于大數(shù)據(jù)的
人工智能與深度學習的探索。
企業(yè)級AI 未來已來,
為此,我們有理由相信,
未來隨著企業(yè)級AI平臺的
不斷創(chuàng)新、發(fā)展與完善,
將會有更多的行業(yè)和企業(yè)從中受益。