吳朱華:在我眼中的大數據時代
原創2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數據全球技術峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數據基礎架構與上層應用的生態系統,解決大規模數據引發的問題,探索大數據基礎的解決方案,激發數據挖掘帶來的競爭力,讓數據發出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數據的盛宴,更多內容請點擊專題:2013大數據全球技術峰會。
來自麥肯錫報告,未來十年里數據和內容將增長44倍,并且這些數據有無法估量的價值。
對于傳統行業來說,大數據的沖擊來自三個方面,數據終端數據量的增長,例如智能電網和物聯網;數據維度的變化,例如消費行為與社交網絡的關聯;商業模式的變化:例如從產品消費到信用營銷,從經驗和直覺決策到數據智能決策,三個因素組織在一起,使大數據發生了幾何數的增長。
大數據階段
***階段:自身業務需求產生大量數據,利用這些數據通過深入認證,優化相關業務。
第二階段:搜集與目標業務直接或間接關聯的大量異質數據,建立復雜的分析和預測模型,產生針對目標業務的輸出。這個階段國外比較普遍,但在國內還依然很少。
第三階段:隨著整體數據相關的法律不斷補充,以及技術不斷成熟,形成一個完善的數據生態,包括數據市場,數據運營商和數據商店等。
從技術角度而言,趨勢是更實時,越快越好,更全面數據分析需求,包括SQL、挖掘算法,以及以Deep Learning為代表的機器學習技術。
大數據實時分析的目的
實時決策能力;提高業務效率;快速智能發現新觀點和商業機會;提供業務產出;提升IT效率;
大數據實時分析所需的技術支撐
大數據秒級,甚至毫秒級的處理;上千人的并發訪問;支持SQL標準,特別是OLAP相關的語句;數據安全和集群的穩定型。
大數據實時分析的技術選型
Hadoop系列:Hive,Impala;
NoSQL系列:MongoDB,HBase;
傳統關系型數據庫:Oracle,DB2,MySQL;
傳統列式數據庫:Infobright,Monet DB。
在介紹一下YunTable
YunTable是在從分布式數據庫的基礎上發展而來,同時加入一些NoSQL的基因的新一代大數據實時分析數據庫,并且支持內存計算,比較接近SAP HANA。
YunTable核心特性
大數據,秒級內存計算;采用廉價的x86硬件;自動線性動態擴展至數百臺集群;每秒GB級別吞吐量,PB級別存儲量;SQL92特性覆蓋,并提供多平臺的SQL驅動,還支持R。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續我們還有更加精彩的獨家報道,敬請關注。