Platform:從高性能計算到云計算
自企業(yè)計算拉開帷幕的六十多年來,計算模式出現(xiàn)了兩大變化:首先是大型機計算模式,隨后是客戶/服務器計算模式,現(xiàn)在,“云計算”成為第三代IT應用模式,也是分布式計算和數(shù)據(jù)中心發(fā)展道路上的新階段。
無論采用什么模式,IT部門都面臨著這樣的難題:如何快速且經(jīng)濟高效地提供IT資源以支持業(yè)務應用。客戶機/服務器計算模式極大地增強了IT部門實施可信賴計算基礎架構的能力,可支持不同的業(yè)務部門和應用程序。
然而,客戶機/服務器模式也付出了代價。它導致了服務器蔓延、資金和運營成本的急劇攀升,同時,越來越復雜的數(shù)據(jù)中心也很難快速配置和有效管理以滿足不斷變化的需求。此外,由于應用程序的工作負載是不斷變化的,因此專用于單一應用程序的服務器通常得不到充分利用。對計算資源的管理也面臨很多挑戰(zhàn),為了配置資源以滿足業(yè)務部門對新應用部署要求,IT部門不得不采購和部署一臺或多臺配備管理軟件的新服務器,這常常需要數(shù)周甚至數(shù)月才能實現(xiàn),導致業(yè)務的延誤。
隨著集群、網(wǎng)格等分布式計算架構的出現(xiàn)和成熟,企業(yè)用戶可以很方便地訪問共享、可擴展的IT基礎架構,用大眾化硬件的價格獲得極高的計算能力和資源利用率。雖然最初部署集群和網(wǎng)格的主要目的是為了完成計算密集型的科學計算任務——它們常常被稱為高性能計算(HPC)應用程序,但部署這些架構方面的經(jīng)驗同樣適用于普通企業(yè)應用程序,也就是說,它們可以直接用于云計算模式——這是資源共享的、有益于最終用戶和IT部門的一種新模式。事實上,云計算就是集群、網(wǎng)格計算的一種自然延伸,它幫助我們更方便、靈活地管理和使用計算資源。
就像軟件從一種專有、集中式的模式轉變?yōu)橐环N開放、分布式的架構,云計算也呈現(xiàn)迅速發(fā)展的趨勢,極大地改變了IT服務的交付方式,使客戶可以按需、自助地使用IT資源。
云計算的實質(zhì)
那么,在企業(yè)環(huán)境下,云計算到底是什么?
簡單地說,云計算是一種IT交付模式,通過一種自助服務式、按使用量付費的訪問模式,把大規(guī)模、共享的基礎架構和計算資源作為一種服務來提供。雖然云計算利用了最近出現(xiàn)的新技術,但它實際上是一種業(yè)務趨勢,而不是技術趨勢。
從技術上講,云計算具有以下幾個主要特點:
•基礎架構共享——如今的企業(yè)數(shù)據(jù)中心需要滿足眾多用戶對資源不斷變化的需求,云計算能夠動態(tài)地共享企業(yè)IT資源,以便經(jīng)濟高效地滿足需求。
•可擴展性——為了應對與日俱增的工作負載需求,并支持整個企業(yè),云計算必須具有可以大幅擴展的IT資源的靈活性。可擴展性和靈活性讓云計算服務提供商可以兌現(xiàn)或者至少接近這個承諾——可根據(jù)需要,交付不受限制的IT服務。
•自助服務式——云計算讓客戶可以通過基于服務的解決方案訪問IT資源。IT資源及創(chuàng)建的詳細內(nèi)容對于用戶來說是透明的。
•按使用量付費——由于云計算資源可以根據(jù)工作負載的需求添加或移除,用戶只要為實際使用的資源付費。當服務需求降低后,甚至無需付費。
#p#
從高性能計算到云計算
雖然現(xiàn)在有多種途徑實現(xiàn)從現(xiàn)有的客戶/服務器基礎架構轉向云計算,但是對于企業(yè)用戶來說,有三種途徑是最主要的,也是被實踐證明是最有效的。
這三種途徑分別是:
•從虛擬機到云——對于已經(jīng)在虛擬機上部署應用程序的用戶來說,可以將虛擬服務器結合起來,形成可管理的虛擬機集群。隨著虛擬機集群數(shù)量激增,資源共享的需求也相應增加,企業(yè)開始部署虛擬化管理平臺來自動調(diào)配虛擬機和跨虛擬機集群的計算資源,從而形成了由企業(yè)內(nèi)部IT部門來運營的私有云。
•從網(wǎng)格到云——一些企業(yè)已經(jīng)在運行網(wǎng)格。這種分布式系統(tǒng)由IT人員管理,通常是計算密集型或數(shù)據(jù)密集型的應用共享來共享這些資源。虛擬機技術并不用在網(wǎng)格中,因為每個應用程序都很容易消耗一臺服務器上的所有資源。此外,多臺服務器也常常一起使用,以運行并行應用程序。通過部署云管理軟件,網(wǎng)格就可以擴大應用范圍,以支持更多類型的應用程序。采用虛擬化技術和資源配置工具可以將企業(yè)網(wǎng)格變成私有云。
•從桌面到云——應用程序可以從專用服務器遷移到共享基礎架構上,并從客戶端設備進行訪問。
企業(yè)可以選擇上述途徑中的任何一種,甚至為不同的應用程序或不同的業(yè)務部門同時選擇幾種途徑來實現(xiàn)云計算。為了確保成功,采用云計算應該遵循有條不紊、循序漸進的步驟,而不是指望一蹴而就。取得的進展取決于特定應用程序對可擴展性和成本效益的需求,或者取決于對業(yè)務流程自動化等功能的要求。
從企業(yè)的實際應用考慮,最適合快速實現(xiàn)云計算的企業(yè)是那些已經(jīng)采用了集群和網(wǎng)格計算技術的企業(yè)和組織機構,因為它們已經(jīng)完成了對計算資源的整合和共享調(diào)度,只需要增加對資源的自動化管理和調(diào)度,就可以實現(xiàn)云計算。
成功案例:歐洲核子研究中心(CERN)利用Platform ISF實現(xiàn)私有云
憑借強大的計算能力,歐洲原子核研究組織(CERN)為遍布48個國家270個研究中心的17000余名科研人員在全球范圍內(nèi)展開合作,共同破解物質(zhì)和宇宙的種種奧秘提供了保障。
#p#
挑戰(zhàn)
為了進一步加快研究進展,CERN需要構建經(jīng)濟高效、能夠管理任何服務器上虛擬機管理程序和操作系統(tǒng)、共享的計算基礎設施。為此,CERN建立了一個大型的強子對撞機(LHC)集群,并采用Platform LSF管理LHC集群工作負載。CERN結構基礎設施(Fabric Infrastructure)小組負責人Tony Cass博士說:“我們從1997年就開始使用Platform LSF管理工作負載,Platform LSF同樣適用于LHC。特別是當需要添加云功能時,與Platform LSF來自同一廠商的Platform ISF看起來再合適不過了。”
解決方案
Platform ISF為CERN的大批科學家提供了一套私有云計算基礎設施,為多個虛擬和物理平臺提供高效的工作負載應用管理。Platform ISF把不同平臺組合到單一動態(tài)的共享基礎設施中,在資源較少的情況下顯著提高了平臺的利用率。此外,科學家們可以選擇自己的應用環(huán)境,動態(tài)控制項目,確保自己能充分發(fā)揮私有云的功效——而這一切都是在成本更低的情況下實現(xiàn)的。
LHC項目給Cass博士領導的團隊帶來了一些新的挑戰(zhàn)。LHC項目中大多數(shù)應用程序是高度專業(yè)化的,需要非常好的持續(xù)性,這給集群帶來了很高的要求。支持LHC項目的新集群由200臺服務器組成,新集群整體利用率只有10%左右。為了提高利用率需要對服務器進行虛擬化。新的虛擬化集群支持多種虛擬機管理程序,包括HyperV和Xen。這為實驗團隊帶來了更大的靈活性,可以為自己的應用程序選用最好的平臺。然而,多種虛擬化技術的使用給整個環(huán)境增添了管理的復雜性,于是Cass及其團隊決定采用Platform ISF管理解決方案,作為同時管理虛擬環(huán)境和物理環(huán)境的工具。
Platform ISF讓Cass及其團隊對環(huán)境擁有更大的控制權,而且通過自動處理虛擬機管理程序不但實現(xiàn)許多任務的自動化管理,簡化了管理工作,還提高了管理效率。Platform ISF是整個解決方案的核心,它可以管理資源和應用環(huán)境,并提供讓用戶能夠根據(jù)需要來預留和使用資源的契約接口。
Cass說:“Platform ISF能夠集成我們的所有資源,所以我們認為它是一種有用的補充,可以管理所有這些虛擬機管理程序。Platform ISF具有的獨立性本身就讓我們很感興趣,因為我們的科研環(huán)境高度重視能夠順應新發(fā)展形勢的工具,而不是讓我們被舊形勢所束縛。”
Platform ISF部署在一個支持LHC的集群上,而Platform ISF Adaptive Cluster部署在負責進行批處理工作的HPC集群上——該集群由 3800臺多核服務器組成。這讓CERN可以建立起私有云環(huán)境,必要時共享不同集群之間的資源。
Cass說:“Platform ISF Adaptive Cluster可以與現(xiàn)有的Platform LSF網(wǎng)格工作負載管理解決方案結合起來,為我們的用戶和研究中心提供利用共享數(shù)據(jù)中心資源來管理集群所需的可擴展性和靈活性,同時符合我們對開放標準的要求。”
成果
利用Platform云平臺實現(xiàn)私有云的另一個優(yōu)點是減少了專用的LHC集群服務器。 “如果我們可以通過提高服務器利用率,從現(xiàn)有的LHC環(huán)境中減少150臺服務器(原來是200臺服務器),那么我們就可以大幅度節(jié)省電力和冷卻成本,并且能在不增加硬件預算的前提下,把服務器重新部署到批處理集群中去。”Cass博士說。
Cass還計劃允許實驗團隊通過自助服務直接訪問集群。“如果我們能讓Platform ISF自動配置服務器,以滿足實驗團隊提出來的工作負載要求,就將減輕我們的管理負擔。過去,在靜態(tài)資源環(huán)境中,利用Platform LSF可以減少管理日常應用的工作量;而現(xiàn)在,Platform ISF通過將耗時的人工管理轉變?yōu)樽詣踊馁Y源調(diào)配和管理,使我們能更有效地管理虛擬機和物理機組成的混合環(huán)境。”Cass預測,使用Platform ISF后,他們有望大幅減少重新配置批處理集群以滿足不斷變化的工作負載所需的工作量。