[[148168]]

大數(shù)據(jù)分析工具使用戶能夠分析各種各樣的信息——包括結(jié)構(gòu)化事務(wù)數(shù)據(jù)和社交媒體帖子、Web服務(wù)器日志文件及其他形式的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。一旦組織決定要購買一個大數(shù)據(jù)分析工具，下一步就是制定一個流程，評估可用的產(chǎn)品，然后從中找到一個最適合你需求和要求的產(chǎn)品。

下面我們將介紹在評估各種大數(shù)據(jù)分析工具符合企業(yè)需求的程度時可能用到的必備特性和特定屬性。然后，你再編寫一個預(yù)案請求（RFP），說明使用這些工具將如何解決組織的需求。

評估標(biāo)準(zhǔn)

建模技術(shù)的廣度與深度。供應(yīng)商已經(jīng)應(yīng)用了不同級別的建模，并且相應(yīng)地開發(fā)了不同復(fù)雜度的分析功能。單個工具支持的分析建模廣度反應(yīng)了所提供的不同方法。其中一些例子包括回歸技術(shù)、根據(jù)過去趨勢預(yù)測變化值的時間序列模型、分類與回歸樹（也稱為CART）和神經(jīng)網(wǎng)絡(luò)。

建模技術(shù)的深度反映了所使用方法的兩個方面特征：支持更精準(zhǔn)開發(fā)模型的算法成熟度和建模技術(shù)的靈活性。換而言之，數(shù)據(jù)挖掘和預(yù)測分析時需要使用哪一種級別的專業(yè)知識才能理解目前能夠開發(fā)哪一些類別的模型及如何使用一個特定工具完成建模？

經(jīng)驗一般的數(shù)據(jù)分析師感興趣的是提供大量分析功能的供應(yīng)商產(chǎn)品，而更專業(yè)的分析師和統(tǒng)計師則更偏好于那些能夠更深入分析特定分析模型的工具。

集成與可訪問性。大數(shù)據(jù)分析應(yīng)用通常依賴于越來越多的內(nèi)部和外部數(shù)據(jù)源，其中包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。這促成了支持?jǐn)?shù)據(jù)可訪問性和系統(tǒng)集成的功能需求。這個方面要考慮的特性有：

非結(jié)構(gòu)化數(shù)據(jù)使用率。確認(rèn)產(chǎn)品能夠使用不同類型的非結(jié)構(gòu)化數(shù)據(jù)（文檔、電子郵件、圖像、視頻、演示文稿、社交媒體渠道信息等），并且能夠解析和利用收到的信息。

大數(shù)據(jù)可訪問性。對比供應(yīng)商工具連接大數(shù)據(jù)架構(gòu)的方式，其中包括存儲在Hadoop的分布式數(shù)據(jù)，以及各種橫向擴展存儲中存儲的文件（例如，MongoDB或Apache Cassandra等NoSQL數(shù)據(jù)）。

與現(xiàn)有平臺組件的互操作性。如果要在一些傳統(tǒng)數(shù)據(jù)管理和BI技術(shù)中混搭分析方法，那么這一點非常重要。例如，許多分析工具支持通過傳統(tǒng)的SQL查詢?nèi)フ{(diào)用分析模型。這種形式的互操作性允許使用預(yù)測模型的結(jié)構(gòu)去產(chǎn)生一些傳統(tǒng)數(shù)據(jù)分析師通常都能使用的查詢與報表。

連接性。一定要評估連接性，或者說產(chǎn)品訪問其他系統(tǒng)的能力，以及作為數(shù)據(jù)源給現(xiàn)有平臺提供用于生成報表和分析的能力。

易用性。有一些大數(shù)據(jù)分析產(chǎn)品是供應(yīng)商從零開始開發(fā)的，而有一些則基于開源的R統(tǒng)計語言。無論是哪一種情況，這種評估類別主要關(guān)注于產(chǎn)品用于分析數(shù)據(jù)、開發(fā)模型和確定模型有效性與準(zhǔn)確性的易用性。

業(yè)務(wù)分析師可用性。沒有統(tǒng)計背景的商業(yè)分析師是否也能夠輕松地開發(fā)分析和應(yīng)用呢？確定產(chǎn)品是否提供了方便開發(fā)和分析的可視化方法。

部署不同業(yè)務(wù)用例的靈活性。相同的算法方法可以應(yīng)用到許多不同行業(yè)的不同業(yè)務(wù)場景中。如果你的組織準(zhǔn)備做的這類分析數(shù)量有限，并且集中在更為普通的用例上（如客戶生命周期價值分析、欺騙行為分析或存留預(yù)防），那么你可能應(yīng)該在技術(shù)選擇犧牲一些靈活性。然而，如果你的組織想要一種廣度更大、約束更小的分析方法，則應(yīng)該尋找一些靈活性更高的建模技術(shù)。

模型評分。這包括一些額外工具，它們可以幫助分析師自動比較準(zhǔn)確性、有效性和不同預(yù)測模型用于相似業(yè)務(wù)場景時的預(yù)測價值。

協(xié)同性。隔離分析與開發(fā)可能導(dǎo)致重復(fù)工作和不協(xié)調(diào)的結(jié)果。提供一種集成協(xié)同功能和在大數(shù)據(jù)分析平臺中分享分析模型的手段，使分析師可以協(xié)同工作，共同優(yōu)化他們的應(yīng)用程序及將來重用相同的模型，從而能夠降低開發(fā)成本和提高一致性。

大數(shù)據(jù)分析工具的系統(tǒng)管理功能

接下來要考慮將一項新技術(shù)整合到組織中的實踐環(huán)節(jié)。管理與配置的簡單性評估包括理解所有的系統(tǒng)需求及安裝、配置和持續(xù)管理的依賴條件。例如，使用R統(tǒng)計模型的大數(shù)據(jù)分析工具要求在安裝產(chǎn)品時同時購買和安裝R環(huán)境。此外，還需要確定產(chǎn)品可能安裝的平臺，以及確定能夠嵌入已開發(fā)模型和應(yīng)用的平臺。

其他考慮因素包括分析流程與將已開發(fā)模型加入到業(yè)務(wù)應(yīng)用過程中分配角色和訪問權(quán)限等安全問題。分析產(chǎn)品所提供的身份驗證、授權(quán)和訪問控制等選項。

性能

大多數(shù)高端Hadoop平臺和專業(yè)設(shè)備在設(shè)計上都支持多個并行處理和分布式計算的計算節(jié)點。如果要求較高的運行性能，那么很重要的一點是所評估的產(chǎn)品是否支持大規(guī)模并行處理（MPP）系統(tǒng)配置。

使用MPP平臺要求使用一組特定的工具才能高效地使用平臺的性能優(yōu)化機制，其中包括：

平等性和數(shù)據(jù)分發(fā)。如果要用并行進程獨立處理分布式的數(shù)據(jù)集，并且要求減小網(wǎng)絡(luò)帶寬和增大數(shù)據(jù)存儲位置，那么最適合使用數(shù)據(jù)并行系統(tǒng)。要檢查產(chǎn)品的并行性是否能很好地吻合數(shù)據(jù)分發(fā)策略。

產(chǎn)品的下推功能。它使分析算法能夠利用系統(tǒng)軟件堆中其他組件的內(nèi)在功能。例如，如果有一個數(shù)據(jù)庫管理系統(tǒng)在其工具集內(nèi)部提供了支持參數(shù)定制的建模工具，并且這些工具本身就經(jīng)過優(yōu)化和支持DBMS的架構(gòu)特性。在這種情況下，分析工具最好要使用原生功能，而不要嘗試替換這些功能。

可擴展性和可伸縮性。隨著數(shù)據(jù)量的不斷增長和數(shù)據(jù)管理平臺的不斷擴展，要評估不同的分析產(chǎn)品如何跟隨處理與存儲容量的增長而增長。

大數(shù)據(jù)分析工具的費用

在使用大數(shù)據(jù)技術(shù)的大部分案例中，產(chǎn)品的價格必須影響購買決策。有一些大數(shù)據(jù)分析工具價格昂貴，而有一些則價格較低，甚至是免費的。此外，供應(yīng)商可能根據(jù)不同的定價提供不同的特性、功能或約束（如限制可分析數(shù)據(jù)容量）。

另一個要注意的問題是特殊服務(wù)需求。對于每一個評估的產(chǎn)品，我們都要評估它是否需要軟件供應(yīng)商或外部專家的幫助，才能完成安裝和培訓(xùn)，或者提供特殊的開發(fā)服務(wù)。

此外，一定要考慮所評估的長期總擁有成本（TCO）。TCO計算應(yīng)該包括年度維護費用和支持該產(chǎn)品的系統(tǒng)軟件堆分?jǐn)傎M用，以及運維人員、數(shù)據(jù)中心空間、制冷及其他設(shè)施的分?jǐn)傎M用。

制定自己的RFP

根據(jù)組織的具體用例來過濾出最適合的產(chǎn)品，從而縮小候選供應(yīng)商范圍。要檢查組織需求與上面的評估類別的關(guān)系，制作出一個RFP，其中除了說明關(guān)于集成、互操作性和企業(yè)明細之外的標(biāo)準(zhǔn)問題，主要關(guān)注于量化預(yù)期因素的符合程度，如分析建模、數(shù)據(jù)容量、必要知識水平和數(shù)據(jù)可訪問性要求等。

確定最重要的差異性因素，如產(chǎn)品隨著數(shù)據(jù)容量增長的擴展能力和性能，它使用非結(jié)構(gòu)化數(shù)據(jù)的能力，以及建模功能的廣度和深度。同時，要提出一些反映用戶社區(qū)的需求，特別是分析師專業(yè)知識水平有差別或者需要企業(yè)內(nèi)部協(xié)作的時候。此外，選擇一種大數(shù)據(jù)分析工具的關(guān)鍵影響因素包括它的初始價格、人員要求和總運營成本，提出一些與評估過程相關(guān)的費用和預(yù)算問題。

說明業(yè)務(wù)需求并對它按優(yōu)先級劃分，然后從一組供應(yīng)商產(chǎn)品中指定預(yù)期產(chǎn)品，這樣可以使采購團隊能夠?qū)I(yè)務(wù)需求與評估類別相關(guān)聯(lián)。通過檢查上面的列表、定義相關(guān)問題和規(guī)定可接受答復(fù)來配置RFP，從而確定各個特定的產(chǎn)品符合需求的程度。