【CIO實例】金融公有云:美國金融業監管局利用AWS云實現每日750億筆交易分析
譯文【51CTO.com快譯】大約三年前,美國金融業監管局(簡稱FINRA)開始籌備將工作負載遷移至Amazon云環境。當時,大多數企業尚著眼在更易于實現的目標:將相對易于轉移的應用程序交由云環境打理。
但FINRA并不滿足于此。“我們從一開始就在將最為關鍵的各類系統遷移至AWS。”FINRA執行副總裁兼CIO Steve Randich解釋稱,他之前還曾擔任過納斯達克證券交易所與花旗銀行的CIO。“我們直接選擇遷移關鍵性、數據密集型服務。”而Randich將其稱為FINRA的“皇冠明珠”。
FINRA每天都需要對紐約證券交易所中的訂單與相關信息加以記錄,這意味著其單日事件處理量就高達750億次。據Randich所言,FINRA一天處理的交易數據相當于Visa與萬事達卡六個月的規模。同時,FINRA還需要存儲這部分信息,以備后續進行日度、周度乃至月度分析。記錄總量高達萬億級別,存儲總量亦達到20PB左右。為了應對這一挑戰,FINRA選擇了新的IT實現中心——AWS。
為何遷移至云端
作為股票市場的主要政府監管機構,美國證券交易委員會(簡稱SEC)在即將出臺的法規當中提出了更為嚴格的數據收集及分析要求。據Randich介紹,這也是FINRA決定使用云服務的主要驅動因素之一。
該機構的原有專用數據倉庫設備運行效果依然良好,但Randich對于其承載FINRA未來用例的能力抱有疑問,“著眼于未來,我們很快意識到需要不同于以往的解決方案才能應對新的要求。”他在本屆于拉斯維加斯召開的AWS re:Invent大會演講中指出。
FINRA方面評估了多家服務供應商。原有基礎設施供應商試圖說服他,并強調稱如此規模的數據庫無法運行在公有云當中。然而在經過概念驗證性評估之后,FINRA認為AWS的“領先程度超越其它競爭對手數年”,Randich表示這一優勢仍在不斷擴大。
FINRA執行副總裁兼CIO Steve Randich
針對云遷移決策,他提出了四項基本原則:
-自給自足:Randich不希望依賴于任何顧問或者供應商。FINRA自主建立相關知識體系以管理其AWS云。
-公有云對私有云:目前大多數金融服務機構更傾向于使用私有云。“我們的觀點是,為什么非要持有、管理并支持這么多商用硬件?”他提出質疑,“為什么不遵循摩爾定律的指導?”在Randich看來,“基礎設施管理人員往往只是出于延續以往經驗”才主張選擇私有云。
-開源:Randich高度關注HBase與Hive的發展,即傾向于使用開源數據庫標準而非由供應商把持且要求購買許可的專有型數據庫。
-并非單純上傳:相反,他決定對現有應用程序進行重寫與平臺針對性調整,從而***程度發揮云計算中的優勢。
基于上述考慮,現在,FINRA使用著各類Amazon云服務:從EC2虛擬機到彈性容器服務,再到Lambda計算; 虛擬私有云、Route 53以及Direct Connect負責實現網絡連接; DynamoDB、關系型數據庫服務(簡稱RDS)、簡單存儲服務(簡稱S3)、Glacier以及彈性塊存儲(簡稱EBS)等數據服務; 密鑰管理服務(簡稱KMS)、身份與訪問管理(簡稱IAM)等安全工具; 外加簡單隊列服務(簡稱SQS)與簡單通知服務(簡稱SNS)等各類應用功能。
憑借著云計算帶來的顯著成本節約效果,FINRA得以擺脫專有基礎設施帶來的預算壓力,進而立足于大規模商用性成本實現事務處理與存儲。
Randich表示,目前云業務系統的交互查詢性能較原有平臺提升了400倍。“原本的方案就像是只能每天進行數次谷歌搜索操作,這樣的效果顯然無法接受。”他解釋稱,“現在我們能夠在數秒甚至一秒之內完成此類大規模操作。”
FINRA還能夠以自動化方式快速上線及關閉成千上萬個節點,從而應對“閃電崩盤”及其它極端情況下的市場事件,且整個過程“幾乎不會給正常使用帶來任何影響,我們也往往是在審查日志時才意識到出現了資源需求峰值。”
2015年,Randich表示他開始意識到云環境下的網絡安全水平要優于內部環境。“這使得我們能夠不再被專有數據庫供應商們的宣傳所迷惑”,而可以放心大膽地使用云服務,他總結稱。
原文標題:Financial regulators use AWS’s cloud to analyze 75 billion trades daily,原文作者:Brandon Butler
【51CTO譯稿,合作站點轉載請注明原文譯者和出處為51CTO.com】