數(shù)據(jù)將主導(dǎo)一切？研究發(fā)現(xiàn)53%的公司正在使用大數(shù)據(jù)分析
本文主要結(jié)論與資料來自于研究公司Dresner Advisory Services***的大數(shù)據(jù)研究報告“2017 Big Data Analytics Market Study”，這是該公司Crowds®系列研究中的一部分。本系列報告連續(xù)第三年考察與分析了大數(shù)據(jù)分析最終用戶的使用趨勢與使用意圖，并將大數(shù)據(jù)分析定義為最終用戶能夠訪問、分析和管理Hadoop生態(tài)體系中數(shù)據(jù)的一套系統(tǒng)。
Dresner Advisory Services 的創(chuàng)始人簡***研究員Howard Dresner表示，“在我們對大數(shù)據(jù)分析進(jìn)行全面研究的三年中，我們看到使用率的大量提升以及無采用計劃比例的大幅下降。 而在2017年中，IT部門員工成為了最典型的大數(shù)據(jù)應(yīng)用者，盡管所有部門(包括財務(wù)部門)都在考慮在未來應(yīng)用大數(shù)據(jù)分析，這說明大數(shù)據(jù)已經(jīng)不是一種實驗性的嘗試，而是一種組織內(nèi)部的實踐性追求”。
本次報告中，主要發(fā)現(xiàn)如下：
報告、儀表板、高級可視化、最終用戶“自我服務(wù)”以及數(shù)據(jù)倉庫是公司BI戰(zhàn)略中排名前五位的技術(shù)和措施。大數(shù)據(jù)目前在Dresner Advisory Services追蹤的33項關(guān)鍵技術(shù)中排名第20位，高于物聯(lián)網(wǎng)(IoT)、自然語言分析、認(rèn)知BI和位置只能，這說明大數(shù)據(jù)的戰(zhàn)略重要性高于上述技術(shù)。
目前有53%的公司正在使用大數(shù)據(jù)分析，而2015年這一比例僅為17%。電信與金融服務(wù)公司是這一波增長中主要推手，他們是大數(shù)據(jù)分析服務(wù)最活躍的早期應(yīng)用者，接下來的是科技與醫(yī)療行業(yè)，而教育行業(yè)的大數(shù)據(jù)應(yīng)用者占比***。不過2017年以至年末，大部分的教育公司正在對于大數(shù)據(jù)的使用與否進(jìn)行評估。在地區(qū)中，北美地區(qū)(55%)稍微領(lǐng)先于歐洲、中東以及非洲地區(qū)(53%)。來自于亞州地區(qū)的大數(shù)據(jù)使用者目前僅為44%，但這也說明他們最有可能將在未來使用大數(shù)據(jù)分析。
數(shù)據(jù)倉庫優(yōu)化被受訪者廣泛認(rèn)可為最重要的大數(shù)據(jù)分析用例，其次分別是客戶/社交分析與預(yù)測性維護(hù)。70%的受訪者認(rèn)為數(shù)據(jù)倉庫優(yōu)化是重要或非常重要的是，不過很有趣的是，IoT是目前大數(shù)據(jù)分析用例中優(yōu)先級***的。
大數(shù)據(jù)分析用例在行業(yè)中差別很大，在金融服務(wù)中，數(shù)據(jù)倉庫優(yōu)化主導(dǎo)所有用例;科技公司則主要使用大數(shù)據(jù)分析以進(jìn)行醫(yī)療保健和客戶/社交分析應(yīng)用。同時，在金融服務(wù)和電信公司中，欺詐檢測應(yīng)用比例也較高，而點擊流量分析也在金融服務(wù)的用例中處于領(lǐng)先地位。
Spark，MapReduce和Yarn是當(dāng)今***的三種軟件框架。 超過30%的受訪者認(rèn)為Spark對他們的大數(shù)據(jù)分析策略至關(guān)重要。而也有20%以上的受訪者認(rèn)為MapReduce和Yarn “至關(guān)重要”。
***的大數(shù)據(jù)訪問方式包括Spark SQL、Hive、HDFS和Amazon S3。73%的受訪者認(rèn)為Spark SQL對他們的分析策略至關(guān)重要， 而超過30%的受訪者認(rèn)為Hive和HDFS也很重要。 作為五大數(shù)據(jù)訪問方式之一的亞馬遜S3也具有較高認(rèn)可程度。 下圖顯示了大數(shù)據(jù)訪問方法的分布情況。
機(jī)器學(xué)習(xí)將繼續(xù)獲得更多的行業(yè)支持和投資計劃，Spark的機(jī)器學(xué)習(xí)庫(MLib)的采用率將在未來一年內(nèi)將增長60%。 根據(jù)調(diào)查結(jié)果，在未來兩年內(nèi)，MLib將主導(dǎo)整個機(jī)器學(xué)習(xí)的使用，用戶將可以從Sparklyr R Package和其他產(chǎn)品中獲得MLib,而這些產(chǎn)品將不斷推動公司的發(fā)展。
