大數(shù)據(jù)已死——但大數(shù)據(jù)亦將長(zhǎng)存
譯文在不久的將來,我們將迎來大量集合了分布式處理、機(jī)器學(xué)習(xí)以及分析等當(dāng)下各項(xiàng)熱門定制化解決方案的“預(yù)打包”式應(yīng)用程序。
在過去的幾年當(dāng)中,我們一直在積極討論大數(shù)據(jù),而這一切的推動(dòng)要素正是當(dāng)初的Hadoop與現(xiàn)下的Spark。下一輪熱點(diǎn)將圍繞著將機(jī)器學(xué)習(xí)引入大數(shù)據(jù)展開,但如果不繼續(xù)使用上述熱門詞匯、我們?nèi)匀缓茈y讓人們接受AI與分析技術(shù)方案。
事實(shí)上,大數(shù)據(jù)時(shí)代目前正迅速走向其生命周期的終點(diǎn)。大家可能已經(jīng)發(fā)現(xiàn),各大媒體關(guān)于大數(shù)據(jù)技術(shù)的相關(guān)報(bào)道正不斷減少——在我看來,這意味著Gartner著名的炒作周期已經(jīng)由此走向低價(jià)甚至幻滅。
時(shí)至今日,大數(shù)據(jù)概念已經(jīng)步入“終結(jié)”的轉(zhuǎn)折點(diǎn),但這項(xiàng)技術(shù)的實(shí)際應(yīng)用卻將由此開始興起。
對(duì)于整個(gè)業(yè)界而言,這意味著“讓我們先推出相關(guān)平臺(tái),再觀察其實(shí)際效果”類項(xiàng)目將越來越少。決策制定者們將采取更為合理的方案并以實(shí)際業(yè)務(wù)問題作為切入點(diǎn)——這顯然更符合科學(xué)實(shí)施思維。換言之,即使是平臺(tái)供應(yīng)商自身也開始更多地著眼于“解決方案”。
針對(duì)特定問題的標(biāo)準(zhǔn)化解決方案
接下來的另一項(xiàng)重要步驟在于分析問題、找出模式并創(chuàng)建能夠切實(shí)解決這些問題的打包解決方案。
我們已經(jīng)親眼見證金融業(yè)界的不少企業(yè)對(duì)各類分布式欺詐檢測(cè)方案進(jìn)行打包并加以運(yùn)用。欺詐檢測(cè)軟件并不算什么新鮮事物,但將其分布至Hadoop以及/或者云規(guī)模之下卻是種前所未見的新思路。當(dāng)然,盡管金融行業(yè)的行動(dòng)速度很快,但欺詐活動(dòng)的組織者同樣在與時(shí)俱進(jìn)。多年以來,金融業(yè)界一直無法真正追及惡意活動(dòng)者們的發(fā)展節(jié)奏。但現(xiàn)在,他們有了發(fā)起反擊的必要武器,而Hadoop、Spark以及其它現(xiàn)代化工具將成為其軍火庫中最值得信賴的新儲(chǔ)備。
單純采用下一代技術(shù)方案還不足以讓定制化解決方案擁有應(yīng)對(duì)一切的能力。面向信用卡的欺詐檢測(cè)機(jī)制與其它發(fā)票開具、保險(xiǎn)乃至各類常見商業(yè)應(yīng)用其實(shí)并無本質(zhì)區(qū)別。下一波浪潮的核心并不是針對(duì)特定業(yè)界編寫出專用性極高的應(yīng)用程序,而是思考如何利用“分布式大數(shù)據(jù)模式”解決跨多種現(xiàn)有業(yè)務(wù)線的各類常見問題。
當(dāng)然,構(gòu)建一套定制化解決方案以幫助每一位使用者以不同方式解決類似問題的作法仍將持續(xù)相當(dāng)長(zhǎng)的一段時(shí)間。不過未來我們需要逐步找尋具備共性的開發(fā)模式,并將其推廣至各個(gè)業(yè)務(wù)線當(dāng)中——具體而言,以規(guī)模化分布方式運(yùn)用這項(xiàng)新技術(shù),將其拓展至能夠帶來經(jīng)濟(jì)優(yōu)勢(shì)的規(guī)模并在排除盲點(diǎn)之后加以部署。最終,我們將成功實(shí)現(xiàn)定制化調(diào)整,使用正確的表述并加入必要調(diào)整,但同時(shí)又要保證軟件當(dāng)中的接入算法不需要在面臨不同具體問題時(shí)進(jìn)行反復(fù)重寫——這才是大數(shù)據(jù)技術(shù)的***實(shí)現(xiàn)目標(biāo)。
我們此前已經(jīng)經(jīng)歷過類似的狀況。幾十年前,財(cái)會(huì)軟件就曾經(jīng)是一類熱門話題。雖然大家仍然會(huì)偶爾接觸到特定業(yè)務(wù)領(lǐng)域的專用性財(cái)會(huì)軟件,但多數(shù)大型企業(yè)都在使用打包式解決方案,其中只有特定部分進(jìn)行定制或者利用插件解決不同行業(yè)內(nèi)的特定需求。經(jīng)驗(yàn)豐富的CIO及CTO很少為特定某套業(yè)務(wù)線編寫專用的財(cái)會(huì)工具包,并將其適用范疇限定在單一企業(yè)當(dāng)中。他們更傾向于購(gòu)買現(xiàn)成產(chǎn)品,即使可選方案的種類并不是非常豐富。
下一次巨大飛躍將表現(xiàn)為“數(shù)據(jù)驅(qū)動(dòng)”形式,并將“機(jī)器學(xué)習(xí)”技術(shù)引入到一系列軟件包的購(gòu)買及獨(dú)立功能集成當(dāng)中。從后端角度出發(fā),整個(gè)流程也許將由大數(shù)據(jù)驅(qū)動(dòng),但“大數(shù)據(jù)”本身就像是以太網(wǎng)卡:它將成為一個(gè)前提性、但卻不再熱門的常規(guī)性技術(shù)議題。
原文鏈接:http://www.infoworld.com/article/2907872/big-data/big-data-is-dead-long-live-big-data.html?nsdr=true
原文標(biāo)題:Big data is dead -- long live big data