大咖話數據:技術熱潮下的應用場景冷思考
原創無所不在的數據催生了一場新的工業革命,龐大的數據資源使各個領域都加快了量化的進程。數據分析能力日益成為企業的核心競爭力,因為指導企業決策的不再是經驗和直覺。
無疑,數據作為當下重要生產因素之一,正協助企業不斷地發展新業務,創新運營模式。然而我們都知道,不是所有數據都可以為企業所用,也并非所有IT人員都了解數據該如何使用。大數據熱潮雖潮席卷已久,技術支撐困難、創新能力不足、專業人才缺乏等種種仍是大數據落地于企業實際應用的絆腳石。
近日,51 CTO攜手IBM,與典型的傳統企業及一線互聯網公司的技術專家匯聚一堂,以“大咖薈萃話數據,群策群力展未來”為主題,共話大數據驅動下的技術創新和商業變革。
近三個小時的時間里,來自IBM的大數據技術專家劉勝利、黃海碩與來自國內某能源行業云計算事業部技術負責人孫杰、馬上消費自席數據官劉志軍、AdMaster副總裁盧億雷、獵聘網首席數據官單藝、民生銀行北京管理部數據應用處處長郭慶,從大數據的概念、技術、業務到趨勢展望,敞開心扉討論交流,共同感受“探索·分享·共進”的力量。
機器智能與業務創新
不久前,AlphaGo大戰李世石的新聞,讓谷歌給全世界都上了一課。一時間,街頭巷尾,無論是不是專業的IT技術人員,都在熱烈討論“人工智能”這個并不算新的概念。從1997年的”深藍”到如今的AlphaGo,從大數據到機器學習,再到不久前IBM提出的“認知商業”,人工智能在這20年間經歷了怎樣的演進?企業又該如何落地這些“高大上”的技術概念,推動業務的發展和創新?
劉勝利:技術成熟帶來應用場景的爆發
IBM專家劉勝利評價到,過去十年間大數據的技術熱度一漲再漲。1997年深藍和世界冠軍帕斯卡羅夫下國際象棋時,人工智能沒有像今天這樣在技術上取得全面成熟,然而最近,阿爾法狗的出現給全世界上了一課。無論懂不懂IT技術,大家都會覺得人工智能技術已經發展到很高的水平。
人工智能發展到如今這個時代,已經出現了在某些領域專用型的人工智能,并有其清楚的規則和定義,也存在可能會超過人類智慧的可能。技術的成熟勢必會帶來市場應用的大爆發,特別是對傳統行業。在石油、金融等傳統企業內部,IT的使用水平非常高,面對如今數據儲備更復雜,處理能力更強的需求和現狀,人工智能、機器學習技術,都將加速傳統行業的業務改造和創新。
而對于非傳統行業和創新型行業,劉勝利認為也將出現讓大眾眼前一亮、腦洞大開的社會性變革。以游戲這個剛需行業為例,下一代的機器恐龍、小機器人馬上就會成為孩子的玩具。孩子的玩具在購買之初就會實現聯網。這個機器人可以和小孩子對話,無論通過對自然語言的理解還是手勢。機器人會基于小孩的思想,學習這個孩子是什么性格,并基于孩子的特點進行個性化刻畫。也許當孩子和機器人經過了一年的相處以后,這個機器人就會變得完全不一樣,包括對話的方式和寓教于樂的方式。
劉勝利大膽預測,在機器人、游戲、媒體和娛樂等各種和人交互打交道的行業,如果有大量的數據和需求存在,五年以后,我們就會看到今天想象不到的東西。
郭慶:將業務人員的痛點作為技術的突破口
民生銀行北京管理部數據應用處處長郭慶坦言,相比于金融業最新發展及趨勢的把控,他對云計算、大數據、人工智能等技術底層進化與迭代的關注就顯得不那么敏感了。因此當他聽到AlphaGo以4:1戰勝李世石的這個消息時,腦子里首先產生了兩個疑問:第一,在這次以壓倒性優勢戰勝李世石的比賽中,AlphaGo在第三局為什么會輸?第二,在其背后是何種規模的計算資源在提供技術支撐?在與嘉賓們熱烈探討、尋找問題答案的過程中,他同時闡述了如何利用人工智能、機器學習等最新技術進行銀行創新的思考。郭慶給出的答案就是:切忌盲從,一定要瞄準某個業務方向,帶著目標去擁抱最新技術,致力于解決實際業務問題,才有可能取得實質性的成效。
具體來講,郭慶認為問題的關鍵是要剖析業務人員在工作開展過程中存在的“痛點”,并以此作為問題切入的突破口。以營銷人員向客戶推介理財產品這個場景為例,在現實工作中,理財經理的管戶客戶數量眾多,該向每位客戶推薦具體什么產品?一直以來都是讓大家很頭疼的事。為了解決這個問題,他曾經帶領團隊對各大電商平臺爭相采用的商品推薦系統進行深入研究,與一線理財經理共同進行銀行場景方案的設計,并在解決方案中運用了機器學習等大數據技術。通過目標產品的客戶群數金融據的提取,建立模型進行客戶相似度匹配,并利用推薦引擎實現對不同客戶、不同產品的精準推薦。在機器學習的幫助下,推薦成功率從最初的千分之六逐步提高到后來的百分之三、百分之五,最好的時候甚至達到了百分之十。
因此,技術的進步一定要應用于實際的業務場景當中。當業務人員感到頭疼的時候,就應該考慮介入相應的技術,再加上應用過程中的不斷調優,從而完善整個體系的健壯程度,最終突破傳統業務創新發展的瓶頸。
大數據平臺的混搭
企業更關心的是技術實際落地的問題。面對業務類型的紛繁復雜,數據類型的多源異構,企業的大數據基礎技術肯定不只等于Hadoop。那么,大數據平臺的混搭應該怎么玩兒呢?
孫杰:應用改造和性能提升是企業的普遍需求
某能源行業云計算事業部技術負責人孫杰表示,在企業中傳統的數據管道通常呈現“煙囪式”的形態。到了大數據時代,企業開始追求效率。如可通過分析企業歷史的離線數據挖掘價值,結合在線數據的實時分析,產生快速的反應,將傳統的BI與開源的方式相結合,應該是架構師或技術經理應該思考的問題。
這里首先涉及到的就是應用的改造。企業里很多歷史數據需要遷移到一個新的數據平臺里面,涉及到最大的是應用改造。像孫杰所在的企業以前用的很多都是Oracle,現在如果將數據遷走,就會牽涉到存儲過程和觸發器等很多特定的程序。如果對程序進行改造,又會涉及到人力、成本、周期,業務的風險性等諸多棘手的問題。
另外一個問題是性能。傳統的數據中心追求性能就是靠買一些高端的設備來支持信息化的建設,走的是硬件化的道路,對企業來說成本壓力非常大。因此企業紛紛擁抱開源,開始向互聯網道路轉型,來擺脫單純使用高端的硬件來提升業務的局面。
但是面對客戶的不同需求 ,有時開源軟件并不能提供很好的支持。像系統的吞吐量、數據包的流量限制,與企業的需求目標都相去甚遠。
再者,就是關于系統和應用之間耦合性關系的問題。大家都在談大數據,但是傳統企業中很多業務間都存在很強的依賴關系。如果將某個業務的數據要全面開放至互聯網平臺,如何解決業務耦合性和關聯度,也是企業非常實際的需求。
因此,無論是開源還是商業產品,如何從性能、應用改造的周期成本和業務的處理角度,解決企業數據遷移的問題,是存在于傳統企業中的普遍需求。孫杰表示,其實他們現在也在嘗試,包括大數據與云的混搭,如何打通公有云和私有云,梳理業務的需求和內在聯系,兼顧安全和性能。企業也正在尋找一個云平臺,可以模糊掉公有云與私有云間的界線,將企業的虛擬設備與實體設備統一管理起來。
盧億雷:探索不同技術間的優勢結合
AdMaster副總裁盧億雷談到,對于創業公司來說,其實或供選擇的技術并不多,基本都是使用開源的產品,而且很多是沒有現成的解決方案的,只能通過團隊不斷的試錯和摸索,也有一些經驗分享給大家。
比如說現在企業在大數據的實時計算這塊,都會說企業到底是需要一個Storm還是 Spark Streaming。其實關鍵要看業務真正的需求是什么。從表面來看,Spark Streaming與Spark好像做的事情沒什么區別。但具體來說,如果你的業務產品是需要在一秒種以內計算到達B端的,應該選擇Storm。如果你的業務管理是需要需要有嚴格的認識和序列的,那這時就應該選擇Spark Streaming,這是這兩種技術區別很大的一個地方。
另外盧億雷分享說,他曾對Hadoop和Spark做過一個很詳細的對比,得到了一些非常有價值的信息。舉例來說,很多人都會覺得Spark 的性能超越Hadoop上百倍。但其實當處理求和、統計這些計算需求時,還是MapReduce體現出了比較強的優越性;另外,像盧億雷所在的AdMaster會同時運行Hadoop和Spark,結合他們發現,MapReduce上執行的任務數要遠遠大于Spark。再有,MapReduce的特點是他可以保存計算機的結果,下一次就可以直接進行計算,這樣再處理時就會快一些。當然,目前來說Hadoop的社區活躍度非常強,所以對于創業公司在搭建大數據平臺時,一定要選擇穩定的、成熟的,并且經過大公司驗證的技術,通過不斷的探索和驗證,將不同技術的優勢結合起來,發揮最大的價值。
大數據入侵給營銷帶來的發展和變革
大數據入侵后,對傳統營銷帶來巨大的變革和發展,如何以數據為核心創新營銷策略,獵聘網首席數據官單藝談到,大數據在互聯網里最早的成功用該案例,一是搜索引擎,另一個就是廣告營銷。
單藝:將數據作為深入的箭頭
單藝曾有過六年左右的廣告技術經驗,他認為大數據對于營銷來講,直觀的就是讓廣告和營銷活動更精準。另外還有很多從表面看不到的價值。比如說提高了整個廣告的交易效率。與傳統廣告營銷相比,流動性更強。同時,單藝也認為在大數據隱私方面,大家普遍會感到有非常大的挑戰。
目前在國內,營銷活動還沒有受到太深入的控制。還是要將營銷與用戶體驗結合起來。如果網站搭建得很爛,就算外面廣告打得再好,用戶沒有好的體驗,轉化效果依然會很差,最后這個廣告都是白打的。蘇琪分享到,為了提高轉化率,獵聘網曾經構建過一個用戶模型,比不用模型時點擊率大概可以提高十倍,原來是萬分之幾,現在是提高到了千分之幾。這種改變的核心就是大數據。將數據作為深入的箭頭,能夠讓整個的營銷鏈條徹底到位,保證轉化結果。Facebook有一套Growth Hacking的系列的方法,單藝建議大家可以去了解,這個部分也恰恰是國內相對比較薄弱的環節。
云與大數據融合帶來的機遇和挑戰
隨著云計算與大數據技術的融合,未來的大數據將擁有更強大的基礎資源作為支撐。對于未來大數據技術與云的結合及其發展方向,嘉賓們也分享了許多獨到的見解。
劉志軍:技術發展和意識建立
馬上消費金融首席數據官劉志軍認為,大數據的本質是技術基礎,但未來要得到更好的發展,僅僅依靠IT技術人是遠遠不夠的。目前看來,大數據技術還有兩大挑戰亟待解決。
一是技術的挑戰,也就是如何在對傳統的數據概念和基礎上,提高對大數據技術的重視,無論是企業的管理人員,還是業務人員,都有利用大數據的能力反過來推導一些數據的能力,從而對企業的發展和業務的創新起到強有力的推動作用。
另外一個挑戰是,目前有很多人沒有對大數據形成一個完整的認識。大數據技術和大數據的分析,僅僅一個Hadoop是遠遠不夠的,如果大數據分析技術沒有發展起來,僅僅靠Hadoop這樣分析做模型和算法都是沒有意義的。
黃海碩:刪除——暴風驟雨之勢下的冷靜思考
IBM專家黃海碩也從不一樣的視角,警示大家看冷靜看待大數據的問題。大數據這幾年被大家廣泛討論,是非常熱的話題。幾年前在IBM2013技術峰會上,黃海碩曾有一次和《大數據時代》的作者維克托•邁爾-舍恩伯格座談的機會,這對他在看待大數據分析技術上有了一些別樣的啟發。
在那次交流中維克托•邁爾-舍恩伯格透露了他下一本書的書名,既出人意料,卻又在情理之中——《刪除》。大數據就像是暴風驟雨一樣來了。面對大數據,在積極探索的同時,我們還要保持冷靜。大數據不是萬能的,哪些數據才能用,有什么用,怎么用,如何取舍,都是我們應該冷靜思考的問題。
大數據是一個概念,落實到具體的應用,需要我們從高處著眼,低處著手,循序漸進。然后用可衡量的價值去實施這件事,這可能是比較切實的一些實際的大數據的方面。
云計算、大數據為導向的技術革新
正如各位嘉賓所言,云計算是大數據分析技術應用的基礎,海量的數據需要更多的計算資源支持;無論是大數據還是小數據,最終也是要應用到業務的價值當中。大數據的發展也離不開業務應用場景的建設。伴隨著云計算、大數據為導向的技術革新,數據價值將不斷被深入挖掘,從數據中得到的好處也將帶給企業前所未有的發展空間和潛力。
如果你也想約約大咖,共話數據,請掃描二維碼: