美國鹽湖城直擊SC16 揭秘超算的下一輪爆點
作者:佚名
所謂深度學習,就是用多層神經元構成的神經網絡,以達到機器學習的功能。這些多層的電腦網絡像人類大腦一樣,可以收集信息,并基于收集到的信息產生相應的行為。
從技術上來講,要實現人工智能,就需要數據中心中的機器進行具備大量的計算能力和機器學習能力,應該說目前已經有了初步結果,比如字符識別、語音識別,圖像識別等,但也還未完全窮盡,而更高維度的認知探索,業界現在才剛剛開始而已。
在這個過程中,深度學習的重要性就突顯出來了,這是因為深度學習是實現機器學習的技術,機器學習則是實現人工智能重要的方法。目前,業界在加速深度學習方面主要采用有兩種方式:
第一,優化處理器技術。如在同一個芯片中集成多個處理單元 ,根據集成方式的不同,可分為多核處理器或多路處理器。
第二,優化GPU計算能力。相比之前在游戲、視覺效果中的應用,GPU正在成為數據中心、超算中心的標配,并廣泛應用于深度學習、大數據、石油化工、傳媒娛樂、科學研究等行業。
可以說,GPU強大的并行處理能力,可以讓超算科研人員順利去設計深度神經網絡,輕易的模仿人的思維結構。同時,由于GPU具備強大的經濟性,也能讓更多的超算科研人員設計出在每一個單元榨取更多性能的機器。
所以,基于GPU設計的深度學習服務器,就成為了本次SC16中最受關注的領域。這其中,戴爾就展出了兩款利用GPU的深度學習服務器,包括戴爾PowerEdge C4130和PowerEdge R730都采用英偉達Tesla P100 GPU加速器。
其中,戴爾PowerEdge C4130是GPU密集型且靈活的機架式設計的產品,專門用于加速最苛刻的工作負載,數據顯示,PowerEdge C4130在搭載P100加速器后,相比之前搭載M40加速器的設備,在深度學習的計算中,時間和效率得以大幅度提高。
例如,在跑Dna100K時,配備M40 GPU的服務器需要15個小時39分鐘,而配備P100 GPU的服務器,僅需要42分鐘;同樣在跑Dna500K時,計算時間分別為3天3小時33分鐘和3小時21分鐘。
由此可見,GPU之于深度學習算法的重要性。目前,越來越多的大中型公司,尤其是互聯網企業都在將深度學習各個應用領域,這意味著高性能計算和深度學習,將極大的推動人工智能的落地。
眾所周知,短短幾年時間,云計算就以其彈性擴展、資源聚合、快速交付等獨有特性改變了創新的思維模式,進而再創出了一個科技新世界。
對于超算供應商而言,云計算也是不得不重視的一個新方向,因為越來越多的客戶正在將自身的超算服務以云計算的方式,對外再提供給更多有需求的用戶。
與此同時,很多中小公司由于資金的限制,無法購買價格昂貴的高性能計算服務器,這時候HPC的云計算服務就顯得十分的重要。
例如,一個動畫公司,接了一個單,要在三個月之內以很大的計算能力來完成動畫的制作,當然在三個月之后他就不需要這些能力了。那怎么辦?購買設備來維護的話,成本很高,這時候就可以到云服務提供商處申請一些HPC的資源,就能完成工作。
再如,HPC云化服務在高校科研計算領域也有很大的需求,如今高校中HPC的相關應用場景越來越多,數值計算、工程仿真、航空航天、大數據處理、材料科學研究,生命科學。
但是,多年來高校現行的IT建設體制,造成了資源冗余、系統分散、軟件部署難度大等諸多問題,而如果采用云超算服務,就可以實現云中交付集群應用,大大減輕了高校的計算和科研壓力。
目前,在美國,亞馬遜AWS、微軟Azure,都已相繼推出了各自版本的HPC集群服務。在國內,前不久阿里云也推出了HPC并行計算服務,從這些云計算服務商的選擇來看,也說明HPC云化的趨勢已經十分明顯了。
不過,HPC云化也有很多需要解決的難題,那就是不管使用哪一種模式上云,特別重要的是確保基礎架構,都需要同時利用物理資源和虛擬資源的管理層,因為HPC應用程序仍主要放置在物理機器上。
所以,在理想情況下,HPC云化的關鍵因素,是要能夠把虛擬機管理程序環境和物理環境合并為一個動態共享的基礎架構,既支持多種操作系統,又支持異構環境。
正是看到了這樣的市場需求,戴爾在這次SC16上,聯合VMware推出了一套基于VMware云計算和容器技術的HPC云化解決方案。具體來說,通過VMware Cloud Foundation可以很容易地搭建HPC私有云環境,也可以把VMware Cloud Foundation的整套軟件部分部署到HPC公有云數據中心里,形成公有云基礎服務。
此外,對于不使用VMware虛擬化管理軟件的HPC客戶,戴爾則提供Cycle Computing軟件以及面向云編排及高性能計算工作負載管理的相關服務,目前已經可以支持亞馬遜AWS、微軟Azure與谷歌云的服務。
實際上,HPC從科學計算走向商用化、民眾化已經是可見的事實,因此“HPC in Cloud”把高性能計算與云計算結合,利用云數據中心普通X86服務器構建高性能計算集群,無疑也是大勢所趨。
高性能數據分析(HPDA)并不是超算領域最新鮮的話題,但是HPDA市場發展一個重要原因就是大數據分析、云計算等互聯網新應用的驅動,反過來又促進了超算行業的發展。
可以說,HPDA如今不僅廣泛應用于機器學習和人工智能領域,在很多商業和工業領域也大有用武之地,如互聯網應用中的消費者行為分析、搜索排名分析,傳統行業中的醫療保健、物流分析、金融欺詐檢測,以及工業應用中的產品設計、質量分析等等。
IDC高性能計算研究副總裁Earl Joseph在SC16上的專題研討會表示:“HPDA是大數據和HPC結合起來發揮最大優勢的新應用,大數據毫無疑問將對HPC的發展有重大影響,我們預計它將成為HPC增長的主要動力之一。”
IDC預計,在未來6至18個月內,超過33%的工作負載將用于HPDA;在制造和科研領域,HPDA工作負載預計分別為20%和16%。預計到2020年,HPDA市場將在新的商業分析細分市場中增長26%。
同樣,針對HPDA市場的爆發,可以看到戴爾今年向HPC市場推出了一系列的“HPC Systems”家族,在生命科學、制造及教育科研領域向客戶提供“開箱即用”的HPC系統,也可以稱之為“HPC即服務”。(參見《軟硬兼施兩翼齊飛 解碼戴爾HPC新策略》)
在本次SC16上,戴爾針對生命科學行業、制造行業、教育科研行業的HPC系統進行了大幅度的優化。不僅為之配備了經過全面測試和驗證的構建塊,同時為跨解決方案的整個生命周期提供單點的硬件支持和額外的服務選項。
此外,戴爾的HPC系統還增加了對精準醫學領域的特別支持,這是因為戴爾認為下一個新的HPDA新應用領域無疑將是精準醫學,這是因為大量患者的基因組,病史和癥狀數據,都需要靠高性能計算得出結果。
通過SC16釋放出的新信號,不難發現超算正在經歷轉型,現在的超算盡管也一直在助力科學的進步、研究,但是它也在助力工業和商業領域的新創新。因此,深度學習,HPC云化和高性能數據分析這三大新方向,無疑將帶給超算更大的增長空間。
責任編輯:潤月
來源:
51CTO