大數據時代需要大數據挖掘，我習慣把大數據分成四個領域：數據科學、網絡科學、空間地理科學和可視化技術;

最近的主要興趣在空間地理領域，學習如何獲取POI，Polygon，經緯度，空間匹配算法和可視化，一個全新領域有帶來諸多大數據分析工具的思考和整合。

恰巧看到一篇國外博客列舉了大數據領域的分析工具，俺的微信公號也曾經寫過兩篇：

數據工匠 | 工欲善其事必先利其器(數據分析工具集一)

數據工匠 | 工欲善其事必先利其器(數據分析工具集二)

今天就接著把數據分析主要是大數據挖掘的工具集三寫下來：

順勢俺在總結一下：

我了解和喜歡的大數據挖掘工具主要分成：提取，存儲，清洗，挖掘，可視化，分析和集成語言領域。

[[182736]]

數據存儲和管理

如果你要使用大數據，你需要考慮如何存儲它。大數據個人一般玩起來常常是幾百兆、或G;當然企業級就可能不是這個側面了，T或P級，一個好的數據存儲提供商應該為您提供一個基礎架構，在其上運行所有其他分析工具以及存儲和查詢數據的地方。

Hadoop

Hadoop已經成為大數據的代名詞。它是一個用于在計算機集群上分布式存儲大型數據集的開源軟件框架。這意味著可以上下擴展數據，而無需擔心硬件問題。Hadoop為任何類型的數據提供大量的存儲，巨大的數據處理能力和處理虛擬***并發任務或作業的能力。Hadoop不適合數據初學者。要真正利用它，真的需要知道Java編程。

Cloudera

Cloudera本質上是一個Hadoop的品牌名稱。它們可以幫助企業構建企業數據中心，以便您組織中的人員更好地訪問您存儲的數據。

雖然它是開源，Cloudera主要還是企業解決方案，幫助企業管理他們的Hadoop生態系統。基本上，利用它管理Hadoop很多艱苦的工作。還可提供一定量的數據安全性，如果您存儲任何敏感或個人數據，這是非常重要的。

MongoDB

MongoDB的是現代，流行的非結構化數據庫，但又可視為關系數據庫的替代品。它適用于管理經常更改的數據或非結構化或半結構化的數據。

常見應用包括存儲移動應用程序的數據，產品目錄，實時個性化，內容管理和跨多個系統提供單個視圖的應用程序。MongoDB也不適合數據新手，與任何數據庫一樣，您需要知道如何使用編程語言進行查詢。

Talend

Talend是另一個偉大的開源數據庫，提供了大量的數據產品。這里我們專注于他們的主數據管理(MDM-元數據管理)產品，它將實時數據，應用程序和過程集成與嵌入式數據質量和管理相結合。

它是開源的，Talend是完全免費的，Talend都是一個很好的選擇。它可以節省您構建和維護自己的數據管理系統 ——這是一個非常復雜和困難的任務。

從頭開始

[[182737]]

如果你是大數據的新手，數據庫可能不是***的開始。它們相對復雜，并且需要一定量的編碼知識來操作(與下面提到的許多其他工具不同)。

然而，如果你真的想在大數據中工作，那么知道數據庫的基礎知識并且能夠智能地談論它們是必須的。我們需要全面了解大數據的技術，包括數據庫和存儲的歷史，關系數據庫和文檔數據庫之間的差異，大數據的挑戰和必要的工具，以及Hadoop的介紹。

不過從個人玩大數據的角度，我個人推薦：PostgreSQL、MySQL、以及JSON、GeoJSON等數據存儲形式，當然個人主要是CSV格式的數據包或數據集。

特別強調，對于數據庫來講重要的是需要掌握SQL查詢語言

數據清洗

[[182738]]

在您可以真正挖掘所謂大數據并能獲取洞察信息建模之前，您需要清理它。擁有或創造一個干凈，結構良好的數據集有時是不可能的。數據集可以有各種形狀和大小的(有些好，有些不太好!)，特別是當你從網絡上獲得它。下面的數據清洗軟件工具將幫助您細化數據并將其重塑為可用的數據集。(部分工具都有特征工程的技術)

OpenRefine

OpenRefine(原GoogleRefine)是一個開源工具，專門用于清理雜亂的數據。我們可以輕松，快速地探索巨大的數據集，即使數據有點非結構化。

就數據軟件而言，OpenRefine是非常用戶友好的。雖然，良好的數據清洗的原則和基礎知識肯定有幫助。OpenRefine的好處是它有一個巨大的社區，有很多貢獻者意味著軟件不斷變得越來越好。你可以問(非常有幫助和患者)社區的問題，如果你陷入困境。你可以看看他們的Github上庫在這里你還可以找到OpenRefine維基。

DataCleaner

數據處理是一項長期而艱苦的任務。數據可視化工具只能讀取結構良好，“干凈”的數據集。DataCleaner為我們做艱苦的工作，并將凌亂的半結構化數據集轉換為所有可視化軟件可以讀取的干凈可讀的數據集。

DataCleaner還提供數據倉庫和數據管理服務。該公司提供30天免費試用，然后是每月訂閱費。

說明：我主要用于清洗的工具是refine

[[182739]]

數據挖掘

這里不要與數據提取(后面討論)混淆，數據挖掘是在數據庫中發現洞察，而不是將數據從網頁提取到數據庫中的過程。數據挖掘的目的是對你手頭的數據進行預測、建模和決策。

RapidMiner

RapidMiner是預測分析一個奇妙的工具。它是強大的，易于使用，并有一個開源社區背后。甚至可以通過其API將自己的專用算法集成到RapidMiner中。圖形界面，這意味著你不需要知道如何代碼。

IBM SPSS Modeler

在IBM SPSS Modeler中提供了一整套專用于數據挖掘解決方案套件。這包括文本分析，實體分析，決策管理和優化。他們的五個產品提供了一系列先進的算法和技術，包括文本分析，實體分析，決策管理和優化。

SPSS Modeler是一個重型解決方案，非常適合大公司的需求。它可以運行在幾乎任何類型的數據庫，可以與其他IBM SPSS產品，如SPSS協作與部署服務和SPSS分析服務器集成。

KNIME

它也是一個開源的數據挖掘軟件，主要推薦理由：1-開源，2-擁有60多個案例，3-有社區和Labs，4-能夠集成R和Python等

商業上真正的數據挖掘工具都會融入Oracle、TeraData等數據庫產品中。

Kaggle

如果你被困在一個數據挖掘問題，或想嘗試解決世界上最棘手的問題，Kaggle是世界上***的數據科學社區。公司和研究人員發布他們的數據和統計人員和來自世界各地的數據挖掘者競爭產生***的模型。

我主要用的挖掘軟件工具：Modeler和Knime

數據分析

[[182740]]

盡管數據挖掘是挖掘先前未知的知識，是一種自下而上的發現知識的過程，也稱為KDD。數據分析往往是自上而下的基于理論假設下的探索過程和推斷未知。Google Analytics(分析)是關于提出具體問題并在數據中找到答案。可以問關于未來會發生什么的問題!

Qubole

Qubole簡化，速度和規模與存儲在AWS上(亞馬遜云計算)、谷歌數據大數據分析工作云計算平臺。一旦IT策略到位，任何數量的數據分析人員都可以隨著Hive，Spark，BigQuery等眾多數據處理引擎的強大功能自由協作“點擊查詢”。

Qubole是一個企業級解決方案，它們提供了一個免費試用。

BigML

BigML試圖簡化機器學習。它們提供了一個強大的機器學習服務，具有易于使用的界面，您可以導入數據并獲取預測。您甚至可以使用他們的模型進行預測分析。

對模型的良好理解當然有幫助，但不是必要的，如果你想從BigML中獲得分析，他們有一個免費版本的工具，允許您創建不到16mb的任務，以及有一個付費計劃和虛擬私有云滿足企業級的要求。

Statwing

Statwing將數據分析提高到一個新的水平，提供從美麗的視覺效果到復雜的分析。它使用起來很簡單，你可以在5分鐘內開始使用Statwing。

雖然它不是免費使用，定價計劃是相當優雅。基本套餐是每月50美元，您可以隨時取消。這允許您使用每個大小不超過50mb的***數據集。還有其他企業計劃，讓您能夠上傳更大的數據集。

數據可視化

[[182741]]

數據可視化公司將使您的數據變得生機勃勃。對于任何數據科學家面臨的挑戰的一部分是從傳送的數據的洞察到你的公司的其他部門。對于大多數人來說，MySQL數據庫和電子表格依然會用。但可視化是傳達復雜數據洞察的一種明亮而簡單的方法。大部分可視化都不需要任何編碼!

Tableau

Tableau是一個主要專注于商業智能數據可視化工具。您可以創建地圖，條形圖，散點圖等等，而無需編程。他們最近發布了一個Web連接器，允許您連接到數據庫或API，從而使您能夠在可視化中獲取實時數據。

SILK

silk是一個簡單得多的數據可視化和比的Tableau的分析工具。它允許您通過構建交互式地圖和圖表，只需點擊幾下鼠標，帶來您的數據。Silk還允許您與任意數量的人員進行可視化協作。

像很多這個名單上的可視化的公司，Silk不要求你是一個專家程序員。如果你是新的可視化數據，這是開始，因為他們的地方***的功能試圖無需你做任何事情會自動顯示數據。

CartoDB

CartoDB是一個地圖數據可視化工具，專門制作地圖。它們使任何人都可以輕松地可視化位置數據，而無需任何編碼。CartoDB可以管理數據文件和類型無數，他們甚至有樣本數據集，

如果你有位置數據，CartoDB絕對值得一看。它可能不是最簡單的系統使用，但一旦你得到它的懸念，它是令人難以置信的強大。

Chartio

Chartio可以讓你在瀏覽器中的數據源相結合，執行查詢。您只需點擊幾下即可創建強大的儀表板。Chartio的視覺查詢語言允許任何人從任何地方獲取數據，而不必知道SQL或其他復雜的模型語言。它們還允許您計劃PDF報告，以便您可以將PDF文件導出為儀表板并通過電子郵件發送給任何您想要的人。

Chartio的另一個很酷的事情是，它通常不需要數據倉庫。這意味著您將更快地啟動和運行，并且您的實施成本將更低，更可預測。

Plot.ly

如果你想建立一個圖和嵌入程序中Plot.ly是不錯的選擇。您可以創造驚人的2D和3D圖表，所有不需要編程知識。

免費版本允許您創建一個私人圖表和***公共圖表，或者您可以升級到企業包以制作***的私人和公共圖表，以及為您提供矢量導出和保存自定義主題的選項。

DataWrapper數據包

我們最終的可視化工具是Datawrapper。它是一個開源工具，在幾分鐘內創建可嵌入的圖表。因為它是開源的，它將不斷發展，因為任何人都可以貢獻。他們有一個真棒圖表庫，你可以檢查出的那種東西的人都與Datawrapper做。

它有一個免費工具和一個付費選項，付費選項是一個預先設置，自定義的Datawrapper包。

說明：俺提建議主要用百度的開源產品Echarts，部分考慮D3.js

數據集成

[[182742]]

數據集成平臺是每個程序之間的粘合劑。如果你想連接你使用Import.io與Twitter中提取的數據，或者您希望在Facebook上分享你用的Tableau或絲綢自動進行可視化，下面是集成服務工具。

Blockspring

Blockspring是類似在熟悉的如Excel和谷歌sheet的方式。您只需撰寫Google Sheet公式，即可連接到整個主機的第三方程序。您可以從電子表格發布社交博客，查看您的關注者關注者，以及連接到AWS，Import.io和Tableau等等。

Blockspring可以免費使用，但它們也有一個包，允許您創建和共享私有函數，添加自定義標簽，以方便搜索和發現，并為您的整個組織一次性設置API令牌。

Pentaho

Pentaho提供大數據集成所需的零編碼。使用簡單的拖放UI，您可以集成許多工具與最小的編碼。他們還提供嵌入式分析和業務分析服務。

Pentaho是一個企業解決方案。

數據語言

[[182743]]

雖然今天的挖掘工具變得越來越強大和更容易使用，有時學會編程還是必要的，特別是工程和產品層面。即使你不是一個程序員，理解這些語言如何工作的基礎知識將使你更好地了解這些工具有多少功能以及如何***地使用它們。

R語言

R是用于統計計算和圖形的語言。如果上面列出的數據挖掘和統計軟件不能做你想要的，學習R是好方式。事實上，如果你打算成為一個數據科學家，知道R是必須的。

它可以在Linux，Windows和MacOS上運行，你可以下載開源R。有一個巨大的統計學家社區，人氣很旺。

Python

另一種在數據社區越來越受歡迎的語言是Python。創建于20世紀80年代，從Monty Python的Flying Circus命名，它一直在世界排名前十的***的編程語言。如果數據收集工具無法獲取他們需要的數據，許多記者使用Python編寫自定義的爬蟲。

人們喜歡它，因為與英語的相似之處。它使用諸如’if’和’in’這樣的詞語，你可以很容易地閱讀腳本。

說明：俺主要用Jupyter或Ipython Notebook

RegEx

RegEx或正則表達式是一組可以操作和更改數據的字符。它主要用于與字符串的模式匹配，或字符串匹配。

XPath

XPath是一種查詢語言，用于從XML文檔中選擇某些節點。而RegEx操縱和更改數據組成，XPath將提取準備好RegEx的原始數據。

XPath最常用于數據提取。

說明：如果你需要編寫爬蟲或者抓取web網頁，都需要學習正則表達和xpath，同時學習json數據格式，還要有一定的API接口技術。

說明：最近年末各種活動太多，沒時間寫，當然主要是懶了，這篇文章不錯學習后先google翻譯了一下，稍微整理了下，寫了幾天。