數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)是一門偏向應(yīng)用的學(xué)科領(lǐng)域，因此工具就成為重要的組成部分。在工作中，數(shù)據(jù)科學(xué)家如果選擇有效的工具會帶來事半功倍的效果。一般來說，數(shù)據(jù)科學(xué)家應(yīng)該具有操作數(shù)據(jù)庫、數(shù)據(jù)處理和數(shù)據(jù)可視化等相關(guān)技能，還有很多人還認(rèn)為計(jì)算機(jī)技能也是不可或缺的，可以提高數(shù)據(jù)科學(xué)家工作的效率。

開源社區(qū)多年來對數(shù)據(jù)科學(xué)工具包開發(fā)有著巨大貢獻(xiàn)，這也讓數(shù)據(jù)科學(xué)領(lǐng)域得以不斷進(jìn)步。這里我們收集了一些在數(shù)據(jù)庫、編程語言、機(jī)器學(xué)習(xí)、可視化、計(jì)算機(jī)等方面的開源工具。希望可以幫助到更多數(shù)據(jù)科學(xué)家及對這個領(lǐng)域感興趣的人。

1. 數(shù)據(jù)庫

1.1 MongoDB

MongoDB是一個以可伸縮性和高性能著稱的NoSQL數(shù)據(jù)庫。它提供了傳統(tǒng)數(shù)據(jù)庫的強(qiáng)大替代品，并使特定應(yīng)用程序中的數(shù)據(jù)集成更加容易。特別適用于構(gòu)建大型web應(yīng)用程序。

1.2 Apache HBase

Apache HBase(Hadoop數(shù)據(jù)庫)是一個分布式、可擴(kuò)展的大數(shù)據(jù)存儲。數(shù)據(jù)科學(xué)家在需要對大數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時讀/寫訪問時，可以使用這個開源工具。

2. 編程語言

2.1 R

R是一種用于數(shù)據(jù)處理和圖形處理的編程語言，是數(shù)據(jù)科學(xué)家和分析人員使用的一種流行工具。根據(jù)數(shù)據(jù)科學(xué)家的說法，R語言是最容易學(xué)習(xí)的語言之一，因?yàn)橛写罅康陌椭改峡晒┯脩羰褂谩?/p>

2.2 Python

Python是數(shù)據(jù)科學(xué)家中另一種廣泛使用的語言，它是一種通用編程語言，著眼于可讀性和簡單性。而且python中有非常多可以用于數(shù)據(jù)處理、機(jī)器學(xué)習(xí)和可視化的代碼庫。

2.3 Scala

Scala是一種運(yùn)行在Java平臺上的通用編程語言。它適用于大型數(shù)據(jù)集，主要用于Apache Spark和Apache Kafka等大數(shù)據(jù)工具。這種函數(shù)式編程風(fēng)格帶來了速度和更高的生產(chǎn)率，這導(dǎo)致越來越多的公司慢慢地將其作為數(shù)據(jù)科學(xué)工具包的重要組成部分加以適應(yīng)。

2.4 SQL

SQL是用于存儲在關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)的專用編程語言。SQL用于更基本的數(shù)據(jù)分析，可以執(zhí)行組織和操作數(shù)據(jù)或從數(shù)據(jù)庫檢索數(shù)據(jù)等任務(wù)。在數(shù)據(jù)科學(xué)工具中，它是在數(shù)據(jù)庫中過濾和選擇數(shù)據(jù)的***工具之一。

2.5 Julia

Julia是一種用于技術(shù)計(jì)算的動態(tài)編程語言。它沒有被廣泛使用，但由于其靈活性、設(shè)計(jì)和性能，在數(shù)據(jù)科學(xué)工具中越來越受歡迎。

3. 數(shù)據(jù)挖掘

3.1 RapidMiner

RapidMiner是一個具有可視化和統(tǒng)計(jì)建模功能的預(yù)測分析工具。該軟件的基礎(chǔ)是RapidMiner Studio，它是一個免費(fèi)的開源平臺。

3.2 Data Melt

Data Melt是一款數(shù)學(xué)軟件，擁有先進(jìn)的數(shù)學(xué)計(jì)算、統(tǒng)計(jì)分析和數(shù)據(jù)挖掘功能，而且可以通過編程語言進(jìn)行補(bǔ)充，甚至包含一個廣泛的教程庫。

此外，Python和R中都有很多用于數(shù)據(jù)挖掘的庫，這里就不再贅述了。

4. 機(jī)器學(xué)習(xí)

4.1 Weka

Weka是由懷卡托大學(xué)用Java編寫的機(jī)器學(xué)習(xí)軟件。它用于數(shù)據(jù)挖掘，允許用戶處理大數(shù)據(jù)集。Weka的一些特性包括預(yù)處理、分類、回歸、聚類、實(shí)驗(yàn)、工作流和可視化。

4.2 TensorFlow

TensorFlow是一個用于數(shù)值計(jì)算的軟件庫，它允許程序員在不需要理解其背后的一些復(fù)雜原理的情況下的應(yīng)用深度學(xué)習(xí)，并被列為幫助數(shù)千家公司應(yīng)用深度學(xué)習(xí)的數(shù)據(jù)科學(xué)工具之一。

4.2 Apache Mahout

Apache Mahout是一種構(gòu)建可伸縮機(jī)器學(xué)習(xí)算法的環(huán)境。算法是在Hadoop上編寫的。Mahout實(shí)現(xiàn)了三個主要的機(jī)器學(xué)習(xí)任務(wù):協(xié)同過濾、聚類和分類。

4.3 Orange

Orange一個是簡單的數(shù)據(jù)科學(xué)工具，它致力于使數(shù)據(jù)科學(xué)變得有趣和交互式，允許用戶在不需要編碼的情況下分析和可視化數(shù)據(jù)，也為初學(xué)者提供機(jī)器學(xué)習(xí)選項(xiàng)。

4.4 MLBase

MLBase是加州大學(xué)伯克利分校的AMP(算法機(jī)器人)實(shí)驗(yàn)室開發(fā)的一個開源項(xiàng)目。背后的核心思想是為機(jī)器學(xué)習(xí)應(yīng)用于大規(guī)模問題提供一個簡單的解決方案。

5. 數(shù)據(jù)可視化

5.1 D3

5.2 Axiis

在數(shù)據(jù)科學(xué)工具中，Axiis是一個鮮為人知的數(shù)據(jù)可視化框架。它允許用戶以一種富有表現(xiàn)力和簡潔的形式使用預(yù)先構(gòu)建的組件構(gòu)建圖表和探索數(shù)據(jù)。

6. 其他工具

6.1 Linux

Bash腳本是計(jì)算機(jī)科學(xué)中最基本的工具，并且數(shù)據(jù)科學(xué)中很大一部分需要編程，必須用一些命令行來處理包、框架管理、環(huán)境變量、訪問路徑($PATH)等等，因此Linux是必要的。

6.2 Git

在團(tuán)隊(duì)中編碼時，可以借助 git解決團(tuán)隊(duì)成員代碼沖突、修復(fù)bug、更新。將代碼提交到開源或私有的repo(如Github)時，可以使用Coveralls之類的東西進(jìn)行代碼測試，還有幫助部署代碼到生產(chǎn)中的其他框架。

6.3 REST APIs

REST APIs可以讓本地的訓(xùn)練模型和可用程序無縫銜接。通過標(biāo)準(zhǔn)API調(diào)用或開發(fā)可用的應(yīng)用程序真正讓數(shù)據(jù)科學(xué)模型進(jìn)行預(yù)測。這也是其在數(shù)據(jù)科學(xué)中的巨大作用。

6.4 Docker & Kubernetes

Docker讓用戶擁有一個生產(chǎn)就緒(production ready)的應(yīng)用環(huán)境，不需要為每個運(yùn)行的單個服務(wù)集中配置生產(chǎn)服務(wù)器。與需要安裝完整操作系統(tǒng)的虛擬機(jī)不同，docker容器在與主機(jī)相同的內(nèi)核上運(yùn)行，并且輕量得多。一些高級的機(jī)器學(xué)習(xí)庫(如Tensorflow)需要特定的配置，很難在某些主機(jī)上進(jìn)行故障排除，docker就是一個很好地選擇。

Kubernetes(K8s)是一個在多主機(jī)上進(jìn)行規(guī)模管理和部署容器化服務(wù)的平臺。本質(zhì)上，這意味著您可以輕松地通過跨水平可擴(kuò)展集群，管理和部署docker容器。

6.***pache Airflow

Airflow是一個較為小眾的Python平臺，可以使用有向無環(huán)圖(DAG)程序化地創(chuàng)建、調(diào)度和監(jiān)控工作流。它能讓你可以隨時根據(jù)需要輕松地設(shè)置Python或bash腳本，并在用戶友好的GUI中控制調(diào)度作業(yè)。

6.6 Elasticsearch

Elasticsearch也是一個比較小眾的工具。Elastic通過Python客戶端便捷地提供了所需的一切，讓你可以輕松地以容錯和可擴(kuò)展的方式索引和搜索文檔。你擁有的數(shù)據(jù)越多，啟動的節(jié)點(diǎn)就越多，查詢執(zhí)行的速度就越快。它有很多功能，甚至支持多語言分析器等定制插件。

6.7 Homebrew

Homebrew是一個Mac OS系統(tǒng)的工具，可以幫助不能開箱即用的OS系統(tǒng)通過終端命令進(jìn)行安裝, 彌補(bǔ)了OS系統(tǒng)無包管理的缺陷。