據外媒報道，新加坡2萬公務員將在未來5年內接受數據分析培訓，新加坡政府已任命***數據戰略官員，領導實現政府各部門的數據化計劃。大數據時代，公務員們都得是“數據”高手!數據分析在新加坡已經是最熱門的職業，也是應屆生們的***職業之一。

大數據風潮席卷全球，為什么人人都要學數據分析?

1.為什么要學數據分析

大數據號稱新時代的石油，很多行業都開始用數據驅動業務，通過對數據的分析和挖掘，從單純的數據報表，到建模分析，深入挖掘，來幫助業務部分來系統的思考問題。

同時，數據分析也相對容易一些，比較好上手。

Python的應用的領域可以分為爬蟲、web開發、數據分析、機器學習等方向。和機器學習相比，數據分析偏業務，機器學習偏工程，數據分析入門對數學功底和算法基礎的要求并不是特別高。

2.為什么選Python做數據分析

可以來做數據分析的語言和工具比較多，為什么偏偏選Python?

拿常見的R語言和Excel來說：

R語言其實是為統計學而生的語言，用來做統計學確實非常厲害。

但是R語言在語法的美觀和使用的簡潔便利上看，要比Python差很多，小函數一堆，而且語法不好理解，沒有Python這么容易上手和通熟易懂。

而 Excel只能做一些簡單的處理邏輯處理，適合小規模的數據集，或者簡單的數據清洗，對于復雜的邏輯處理，數據清洗，還是用Python來的方便。

3.數據分析崗位職業發展路徑

在數據科學領域，有三個不同的角色，分別是：商業分析師，數據工程師和數據科學家，難度依次遞增。 

1.商業分析師

商業分析師的工作主要圍繞報表和指標這兩塊兒，包括：

• 定義關鍵績效指標
• 設計和實現報表
• 從用戶那里收集報表需求
• 與數據工程師對接確保數據被正確地收集和存儲
• 查詢數據(一般是聚合過的)

2.數據工程師

數據工程師的工作主要圍繞架構和收集這兩塊兒，包括：

• 通過寫數據傳輸包、設計聚合過程、優化存儲，來構建和維護數據傳輸和存儲的基礎設施
• 將生產環境產生的原始數據，轉換為商業分析師可以用來制作報表的格式化的數據

3.數據科學家

數據科學家的工作主要圍繞預測和優化這兩塊兒，包括：

• 負責構建預測算法，以提升用戶體驗，最終增加參與度、留存率、收益
• 負責數據驅動的產品的改進和建議

這其實是一個金字塔，商業分析師位于金字塔的***層，數據科學家位于金字塔的最頂層。

4.數據分析師的薪資如何

拉勾網上數據分析師基本上在1-2年經驗的平均年薪在20萬左右。 

再看一下數據分析師的崗位主要需求城市： 

主要是在北上廣深和杭州 5個大的城市，其中北京的需求最多，幾乎是第2/3/4位的總和。

5.數據分析需求技能

數據分析的內容多，而且比較全面，比如我們前面寫了很多關于房地產，拉勾照片，旅游網站的數據，一般來說數據分析分下面幾個過程：

***步：數據的爬取

數據分析過程非常像我們平時做飯，***步要先買菜，如何獲取數據呢，很多時候我們需要爬取數據，爬蟲涉及的知識比較多：

比如常見的http原理，爬蟲的基本解析庫reuqests，網頁解析庫BS,Pyquery,掌握一些分布式爬蟲的框架，當然還有一些反爬蟲的策略。當然如果我們能有現成的數據集會方便很多。

第二步：數據格式的處理和清洗

買好了菜，接著我們需要洗菜，也就是數據清洗!常見的數據集都是csv和json格式，需要熟練的掌握著兩種格式的。Python中數據分析的神兵利器是Pandas,這個庫非常好用，功能也是非常強大的。可以對數據進行各種花色的清洗和切割，幾乎所有用Python玩數據分析，必須學會pandas庫的用法。

第三步：數據的存儲

清洗完成之后數據需要存儲起來，一般用的比較多的 SQL 和 MongoDB。幾乎所有的數據分析師招聘都會面試SQL的用法，所以掌握一門數據的使用是非常有必要的!基本的增刪改查這樣入門級的操作，一定要熟練掌握。

第四步：數據的探索

我拿到一個數據集之后，需要對數據進行探索，分析數據之間的關系，每個特征值，每個變量的之間相關性和相互的影響，比如常見的EDA 探索數據分析法。

單變量，雙變量和多變量的探索，可以從很多角度，對數據進行切片分析，非常數據集中的變量之間的關系，找出相關性比較強的數據。

如果需要對數據進行深入的挖掘，需要了解機器學習的相關算法，大體分監督學習和無監督學習，比如回歸問題，分類問題。這部分對數據集進行深入挖掘之后，可以找出數據間的規律，訓練好的之后，可以預測數據，很是牛逼。

第五步：數據的可視化

展現數據***的方法就是數據可視化，數據的可視化有很大的庫，比如 echart，matplotlib，d3 和 Tableau，當然還有excel，一般數據分析師必須要掌握exce或者Tableau。尤其是Tableau現在越來越多的公司用它來做可視化分析，有一個有趣的必然，同樣一個庫用R語言需要30分鐘才能完成，Tableau只需要5分鐘。