[[378256]]

【51CTO.com快譯】如今，人們生活和工作在越來越以數(shù)據(jù)為中心的業(yè)務(wù)環(huán)境中，而數(shù)據(jù)推動(dòng)著科技領(lǐng)域的重大變革。從在工業(yè)環(huán)境中部署物聯(lián)網(wǎng)設(shè)備到遵循歐盟的GDPR法規(guī)，“大數(shù)據(jù)”如今成為了各行業(yè)組織的數(shù)字化轉(zhuǎn)型項(xiàng)目的核心。

大數(shù)據(jù)對于各種規(guī)模的組織來說都是一個(gè)重大挑戰(zhàn)。而組織需要采用大數(shù)據(jù)技術(shù)挖掘潛力、平滑流程、提高效率，以及為最終用戶提供服務(wù)。

人們使用“大數(shù)據(jù)”這一術(shù)語來指代位于其業(yè)務(wù)核心的大量信息。這些數(shù)據(jù)太大、太復(fù)雜且難以使用傳統(tǒng)方法處理，因此希望利用大數(shù)據(jù)技術(shù)的組織必須使用更強(qiáng)大的分析工具。采用這些工具將確保組織能夠處理和存儲(chǔ)基于數(shù)據(jù)收集的數(shù)據(jù)，并實(shí)時(shí)生成結(jié)果。

大數(shù)據(jù)項(xiàng)目的關(guān)鍵要素包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)分析和數(shù)據(jù)可視化，并且每一種關(guān)鍵要素都為組織提供了各種創(chuàng)新技術(shù)和高科技工具。

1.數(shù)據(jù)存儲(chǔ)

以云計(jì)算為中心的存儲(chǔ)工具是確保組織能夠存儲(chǔ)更多數(shù)據(jù)的關(guān)鍵，它提供了多種選項(xiàng)，能夠讓組織以安全且可訪問的方式保存數(shù)據(jù)。

• Hadoop

這是一個(gè)開放源代碼平臺(tái)，通常通過集群存儲(chǔ)大量數(shù)據(jù)集。Hadoop同時(shí)支持結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以及可擴(kuò)展性，因此對于那些可能需要在短時(shí)間內(nèi)需要額外容量的組織來說，這是一個(gè)不錯(cuò)的選擇。該平臺(tái)還可以無延遲地處理大量任務(wù)。總體而言，對于需要開發(fā)人員資源的組織來說，采用Java是一個(gè)不錯(cuò)的選擇。

• MongoDB

對于結(jié)合使用半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的組織來說，MongoDB非常有用。例如，開發(fā)移動(dòng)應(yīng)用程序的組織可能需要存儲(chǔ)與產(chǎn)品目錄相關(guān)的數(shù)據(jù)，或者用于實(shí)時(shí)存儲(chǔ)個(gè)性化的數(shù)據(jù)。

• RainStor

Rainstor不僅可以簡單地存儲(chǔ)大數(shù)據(jù)，還可以對數(shù)據(jù)進(jìn)行壓縮和重復(fù)數(shù)據(jù)刪除，其壓縮比例甚至高達(dá)40：1。在壓縮過程中不會(huì)丟失任何數(shù)據(jù)集，因此，如果組織要利用存儲(chǔ)節(jié)省的優(yōu)勢，這是一個(gè)很不錯(cuò)的選擇。Rainstor在Hadoop中是本地可用的，它使用SQL來管理數(shù)據(jù)。

2.數(shù)據(jù)挖掘

在數(shù)據(jù)存儲(chǔ)之后，組織需要投資購買工具以幫助其找到要分析或可視化的信息。其中最重要的三個(gè)工具將幫助組織提取所需的數(shù)據(jù)，而無需人工處理所有數(shù)據(jù)(如果處理數(shù)千條或更多記錄，對于人類來說無論如何都無法完成這項(xiàng)任務(wù))。

• SPSS Modeler

IBM公司推出的SPSS Modeler可用于通過其可視界面而不是通過編程來構(gòu)建預(yù)測模型。它涵蓋了文本分析、實(shí)體分析、決策管理和優(yōu)化，并允許在整個(gè)數(shù)據(jù)集中挖掘結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

• KNIME

KNIME是一個(gè)可擴(kuò)展的開源解決方案，具有1,000多個(gè)模塊，可幫助數(shù)據(jù)科學(xué)家挖掘新見解，進(jìn)行預(yù)測并從數(shù)據(jù)中發(fā)現(xiàn)關(guān)鍵點(diǎn)。文本文件、數(shù)據(jù)庫、文檔、圖像、網(wǎng)絡(luò)，甚至是基于Hadoop的數(shù)據(jù)都可以讀取，因此，如果數(shù)據(jù)類型混合在一起就是一個(gè)完美的解決方案。它具有廣泛的算法和社區(qū)貢獻(xiàn)，可提供全套的數(shù)據(jù)挖掘和分析工具。

• RapidMiner

RapidMiner是一種開源數(shù)據(jù)挖掘工具，它使客戶可以使用模板而不用編寫代碼。對于沒有特定資源的組織或正在尋找挖掘數(shù)據(jù)工具的組織，這使其成為一種有吸引力的選擇。還提供了一個(gè)免費(fèi)版本，盡管它僅限于1個(gè)邏輯處理器和10,000個(gè)數(shù)據(jù)行。該工具還提供了用于機(jī)器學(xué)習(xí)、文本挖掘、預(yù)測分析、業(yè)務(wù)分析的環(huán)境，以幫助整個(gè)過程。

3.數(shù)據(jù)分析

組織如何得到需要的數(shù)據(jù)?現(xiàn)在是尋求強(qiáng)大的工具對數(shù)據(jù)進(jìn)行分析的時(shí)候了，以收集對組織的業(yè)務(wù)、客戶或整個(gè)世界的關(guān)鍵見解。以下是一些主流的數(shù)據(jù)分析工具。

• Apache Spark

Apache Spark也許是最著名的大數(shù)據(jù)分析工具之一，它將大數(shù)據(jù)放在一切工作的最前沿。它是開源的、有效的，可以與所有主要的大數(shù)據(jù)語言一起使用，包括Java、Scala、Python、R和SQL。它也是應(yīng)用最廣泛的數(shù)據(jù)分析工具之一，適用于各種規(guī)模的公司，從小型公司到公共部門以及蘋果、Facebook、IBM和微軟等科技巨頭。

Apache Spark使數(shù)據(jù)分析更進(jìn)一步，允許開發(fā)人員在一個(gè)地方使用大規(guī)模SQL、批處理、流處理和機(jī)器學(xué)習(xí)，以及圖形處理。它也非常靈活，在Hadoop(最初是為Hadoop開發(fā)的)、Apache Meso、Kubernetes上運(yùn)行，并單獨(dú)作為獨(dú)立的平臺(tái)或者在云中運(yùn)行，使它適合各種規(guī)模和所有行業(yè)的企業(yè)。

• Presto

與Apache Spark一樣，Presto是一個(gè)開源工具，可以使用分布式SQL查詢，設(shè)計(jì)用于對數(shù)據(jù)運(yùn)行查詢，并作為一個(gè)強(qiáng)大的交互式分析引擎。它支持兩種非關(guān)系型數(shù)據(jù)源，如Hadoop分布式文件系統(tǒng)(HDFS)、Amazon S3、Cassandra、MongoDB和HBase，以及關(guān)系型數(shù)據(jù)源，如MySQL、PostgreSQL、Amazon Redshift、Microsoft SQL Server和Teradata，使其成為操作這兩種數(shù)據(jù)庫的企業(yè)的有用工具。

它也被Facebook等大公司使用。事實(shí)上，社交網(wǎng)絡(luò)是其發(fā)展的主要貢獻(xiàn)者，而Netflix、Airbnb和Groupon也參與了其發(fā)展，使其成為全球最強(qiáng)大的數(shù)據(jù)分析工具之一。

• SAP HANA

數(shù)據(jù)分析只是SAP HANA平臺(tái)的一個(gè)方面，但它的功能非常出色。SAP HANA支持來自同一地點(diǎn)的文本、空間、圖形和系列數(shù)據(jù)，并與Hadoop、R和SAS集成，以幫助組織根據(jù)寶貴的數(shù)據(jù)見解快速做出決策。

• Tableau

Tableau結(jié)合了數(shù)據(jù)分析和可視化工具，可以通過服務(wù)器或在線使用。其在線版本非常注重協(xié)作，這意味著員工可以輕松地與組織中的其他人分享其發(fā)現(xiàn)。交互式可視化使每個(gè)人都能輕松理解信息，并且通過Tableau Cloud的完全托管選項(xiàng)，并且不需要任何資源來配置服務(wù)器、管理軟件升級(jí)或擴(kuò)展硬件容量。

• Splunk Hunk

Splunk Hunk是一個(gè)裝備齊全的數(shù)據(jù)分析工具，可以生成圖表和數(shù)據(jù)的可視化表示，所有這些都可以通過一個(gè)儀表板進(jìn)行管理。可以通過Splunk Hunk的界面查詢原始數(shù)據(jù)，而圖形、圖表和儀表盤可以通過其界面快速創(chuàng)建和共享。它也適用于其他數(shù)據(jù)庫和商店，其中包括Amazon EMR、Cloudera CDH和Hotronworks數(shù)據(jù)平臺(tái)等。

4.數(shù)據(jù)可視化

并非每個(gè)人都擅長從數(shù)據(jù)點(diǎn)列表中獲取關(guān)鍵見解或理解其含義。展現(xiàn)數(shù)據(jù)的最佳方式是將其轉(zhuǎn)化為數(shù)據(jù)可視化，以便每個(gè)人都能理解它的含義。以下是一些頂級(jí)數(shù)據(jù)可視化工具：

• Plotly

Plotly支持從使用JavaScript、Python、R、Matlab、Jupyter或Excel分析的數(shù)據(jù)創(chuàng)建圖表、演示文稿和儀表板。其強(qiáng)大的可視化庫和在線圖表創(chuàng)建工具使它非常簡單，可以使用高效的導(dǎo)入和分析GUI創(chuàng)建美觀的圖形。

• DataHero

DataHero是一個(gè)簡單易用的可視化工具，它可以從各種云計(jì)算服務(wù)中提取數(shù)據(jù)，并將數(shù)據(jù)注入圖表和儀表板中，使組織更容易理解見解。由于不需要編程，因此適合沒有雇傭數(shù)據(jù)科學(xué)家的組織使用。

• QlikView

通過提供的一套功能，QlikView允許其用戶使用自助服務(wù)工具從各種數(shù)據(jù)源創(chuàng)建數(shù)據(jù)可視化，而無需建立復(fù)雜的數(shù)據(jù)模型。組織可以在自己的分析平臺(tái)上運(yùn)行QlikView，提供直觀的可視化功能，其平臺(tái)可以與其他人共享，因此根據(jù)數(shù)據(jù)顯示的趨勢做出的決策可以是協(xié)作的。

更高級(jí)的功能允許將QilkView的可視化分析嵌入到應(yīng)用程序中，而儀表板可以引導(dǎo)使用者生成分析報(bào)告，而不需要他們了解數(shù)據(jù)科學(xué)知識(shí)。

原文標(biāo)題：The best big data technologies，作者: Clare Hopping

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】