飛天5K項目
作者:佚名
2013年8月15日,在杭州轉塘云計算園區,承載著阿里巴巴集團數據業務的“開放數據處理服務”集群正式開始生產運營,服務器規模達到五千臺。這標志著阿里巴巴集團自主研發的代號為“飛天”的大規模分布式計算系統成為了單集群規模達到五千臺服務器的通用計算平臺。
一、背景介紹
2013年8月15日,在杭州轉塘云計算園區,承載著阿里巴巴集團數據業務的“開放數據處理服務”集群正式開始生產運營,服務器規模達到五千臺。這標志著阿里巴巴集團自主研發的代號為“飛天”的大規模分布式計算系統成為了單集群規模達到五千臺服務器的通用計算平臺。阿里巴巴集團亦從此成為世界上獨立擁有相關技術能力的屈指可數的公司之一。世界范圍內,像google、facebook這樣的頂級技術型IT公司,集群的規模就是按照5000來劃分的,而此前國內還沒有這樣的技術。
2013年9月,阿里云阿里云宣布開啟“探索5K巔峰—開發者體驗招募活動“,將凝聚了阿里人技術與汗水的5000節點的單集群首次公開對開發者體驗使用,這是全球范圍內第一次把如此強大的計算能力以公共服務方式分享給開發者。
2013年10月25日,杭州云計算產業園會在轉塘園區為飛天5K設立紀念標志,將為中國云計算事業付出汗水的參與5K項目的幕后英雄名字鐫刻在紀念碑上,并將在第三屆阿里云開發者大會上揭幕。
二、飛天5K項目
(一)項目介紹
自投身云計算、書寫第一行代碼開始,阿里云就走上了一條自主研發以“飛天”為代號的大規模分布式計算系統的不歸之路。比肩國際技術水準的飛天可將數以千計的服務器聯成一臺“超級計算機”,對這臺“超級計算機”進行物理資源分配、程序運行操控,從而保障服務及數據安全的操作系統,成為支撐阿里云服務的核心技術平臺。
在上百名工程師歷時5年艱難的技術攻關之后,他們書寫的300萬行代碼賦于了飛天更高的價值:2013年8月,飛天開放平臺邁入新的里程碑!成功實現單集群超越5000臺、同時支持多集群跨機房計算!
(二)技術實力與計算能力
國際上僅有包括google在內的屈指可數的幾家公司擁有這樣的技術,這也是中國人從來沒有嘗試并且做成的一件事情!借助5K項目,阿里集團取得了自身技術發展史上的一次劃時代的突破!而5000節點單集群擁有的計算規模無疑是驚人的:
·10萬核的計算能力
·100PB存儲空間
·可處理15萬并發任務數
·可承載億級別文件數目
·100TB 排序 30分鐘完成,是現有世界紀錄的兩倍以上(詳見注釋)
注釋:
2013年7月1日,Yahoo取得Sort Benchmark排序測試 Daytona Gray Sort的世界紀錄,1.42TB/min;100TB排序完成時間約71分鐘。
(三) 計算能力等待想象力的挑戰
在今天的飛天開放平臺上,眾多創新型應用正在借助云計算技術進行大規模的數據收集、分享和實時處理工作:中國首部在云計算上完成渲染的3D動漫影片《昆塔》,得益于阿里云計算的支持,在3個月內快速完成自有渲染農場原本40個月的渲染任務, 累計計算量超過1400萬核小時;阿里金融所涉及的小微信貸業務,每天利用數十萬CPU核小時對上百TB的交易數據、對商家進行信用評估和風險預測,云計算使得阿里金融同時向大批量的小微企業提供金融服務成為現實……
云計算的真正意義不僅僅在于輸出何等的服務能力,而在于顛覆產業推動社會實現跨越式發展的變革意義!也正因為如此,阿里云才走上發展自有云計算技術之路。
飛天開放平臺服務著無法精確統計的無數用戶,用戶遍及消費電子、公共衛生、能源管理、媒體、電子商務、電子政務、移動互聯網等眾多行業,既有聯想這樣的大型企業,也可以是一個人的公司。云計算帶給企業的創新能力和發展空間是不可想象的,由飛天技術打造的這臺“超級計算機”,它將可以幫助中小企業獲取大型公司才能擁有的存儲資源和計算能力,以此為支點撬動憾世創想!
此外,在本次開發者大會上,會有一個5K英雄召集的活動,會把曾經為飛天做過貢獻的同學都召集起來,包括在職和離職的員工,里面的一些技術大牛和花絮故事,到時候都可以作為傳播的素材。
責任編輯:鳶瑋
來源:
阿里云