如何實現數據分析的工業化?

為了更好地利用大數據的體量、速度和多樣性，讓大數據為自己服務，企業需要流程、結構和透明度，而工業化提供了這三樣東西。如果你真的想從數據中提取價值，并使你的公司像一臺潤滑效果良好的機器那樣順暢運轉，你必須具備規模化的能力，但規模化的能力是大數據***的難題之一。

只要那些流程的設計和實施做到了著眼全局而非各自為政，當分析得到了帶動和長期持續下去的保證時，所謂的“工業化”便已成形。而這就是所謂的分析運維(Analytics Ops)，在數據科學領域又被稱作為開發運維(Dev Ops)。

顧名思義，工業化意味著自動化，能夠實現事半功倍的效果。以前，農民用牛犁一塊地需要花費幾天時間，但現在用拖拉機只需要幾個小時。同樣，現在企業可以也用先進的算法“耕耘”大片的“數據田地”。把見解作為可交付產品的工廠也許是對此更恰當的比喻。例如，設想有一條流水線，使你可以進行數據的收集、整理、分類，準備好供建模、分析和產生見解所用。這就是我們正在邁進的方向嗎?是的。這是必要的嗎?沒錯。

原因在于，為了更好地利用大數據的體量、速度和多樣性，讓大數據為自己服務，企業需要流程、結構和透明度，而工業化提供了這三樣東西。如果你真的想從數據中提取價值，并使你的公司像一臺潤滑效果良好的機器那樣順暢運轉，你必須具備規模化的能力，但規模化的能力是大數據***的難題之一。工業化是解決之道。工業化的基本定義就是堪稱革命性的規模化能力，而規模化幾乎總是意味著使向來手動完成的工作自動化。流水線就是明顯的例子。

流水線方法的基礎是建立一套支持數據分析的流程。這是一種協作的方法，需要跨職能合作和C級高管努力推動公司上下參與其中。但從數據中獲取見解的流程如何實現自動化?

讓我們來看看制造業的工業化，這是流程的最初起源。多年來，生產經理強調質量控制和流程改進。如果想使數據分析工業化，就需要對數據分析及受其驅動的經營活動采取同樣的質量控制措施。你制定的任何解決方案都應該考慮以下幾點：

1. 數據管理：這里涉及的考慮是，數據科學家在創建分析數據集時，應該確保數據一脈相承，提供適當的治理，避免陷入不可識別資產的數據沼澤。應同樣對待的還有文檔、記錄、代碼、數據樣本、修改日志，以及確保資產整理妥當，可隨時用于消費。

2.開發：這里指的是將跟可視化和數據瀏覽界面一起整合進同一工作臺的建模工具。再有就是知識管理，要通過這種方法來存儲你正在創建的模型的信息。

3.部署：這部分涉及到生產模型的創建，而這些模型將在以后用在經營活動中。對此需要模型管理，比如維護版本歷史信息，訓練數據集以供審核，以及推廣模型的相關流程。還應該著重強調效率和受控執行。數據平臺為分析處理的工作提供了很多選擇，但必須保證模型被部署到另一個平臺上時，業務邏輯依然如昔。

4.維護：操作系統堪稱流程的“書立”。你最初從應用系統獲得數據，你的分析則是最終交付產品，將被應用和操作流程所使用。由于這些流程所固有的操作依賴性，因此應該實行嚴格的路徑規定，包括為所有的活動創建操作日志，以及在發生模型偏移時記錄異常情況。

隨著數據和分析工具的激增，企業將繼續尋求龐大數據集的力量，因為有數據就有見解，有見解就有價值。但想要做到這一點，就必須把工業化的準則融入到數據分析中。

只要那些流程的設計和實施做到了著眼全局而非各自為政，當分析得到了帶動和長期持續下去的保證時，所謂的“工業化”便已成形。而這就是所謂的分析運維(Analytics Ops)，在數據科學領域又被稱作為開發運維(Dev Ops)。憑借數據分析的工業化改造，只要處理速度達到了一定水平，企業就能降低成本，加快創新，為市場帶來新的能力。