談?wù)劇比?shù)”的那些事兒

作者：lxw1234@qq.com 2017-08-09 08:25:35

既然要數(shù)據(jù)，那么就得取數(shù)，誰來取數(shù)，怎么取?可能是一個(gè)銷售人員在用Excel取，可能是一個(gè)DBA從生產(chǎn)數(shù)據(jù)庫中查，也可能是一個(gè)數(shù)據(jù)開發(fā)人員寫SQL或者寫程序從數(shù)據(jù)倉庫中取。

一個(gè)公司的業(yè)務(wù)運(yùn)營，不論規(guī)模大小，什么行業(yè)，都離不開數(shù)據(jù)的支撐。既然要數(shù)據(jù)，那么就得取數(shù)，誰來取數(shù)，怎么取?可能是一個(gè)銷售人員在用Excel取，可能是一個(gè)DBA從生產(chǎn)數(shù)據(jù)庫中查，也可能是一個(gè)數(shù)據(jù)開發(fā)人員寫SQL或者寫程序從數(shù)據(jù)倉庫中取。

作為一個(gè)多年從事數(shù)據(jù)相關(guān)的開發(fā)者，深受“臨時(shí)數(shù)據(jù)提取”之苦，自己也是用盡十八般武藝，目的就是想盡可能的解決取數(shù)難、取數(shù)慢的問題。在此總結(jié)一下多年來對于取數(shù)的一些方法(更多是針對公司有自己的數(shù)據(jù)團(tuán)隊(duì))，大概包含以下幾個(gè)方面：

固定報(bào)表;
OLAP系統(tǒng);
自助分析系統(tǒng);
自助取數(shù)系統(tǒng);
臨時(shí)數(shù)據(jù)提取需求;

固定報(bào)表

固定報(bào)表是最常見、最簡單的取數(shù)方式。通常是需求方在經(jīng)過對數(shù)據(jù)調(diào)研之后，形成固定的數(shù)據(jù)報(bào)表需求，然后提給數(shù)據(jù)開發(fā)團(tuán)隊(duì)，由數(shù)據(jù)開發(fā)團(tuán)隊(duì)安排資源實(shí)施完成。報(bào)表形成后，定期更新數(shù)據(jù)，報(bào)表一般通過WEB界面(自研或者使用開源)來呈現(xiàn)，有些則是通過郵件(Excel)方式每天定時(shí)發(fā)送。

OLAP系統(tǒng)

然而需求方的數(shù)據(jù)需求并不總是固定格式的，他們希望從所有可能的維度去探索數(shù)據(jù)，因?yàn)楹芏鄷r(shí)候，他們自己一開始也不知道最終想要的數(shù)據(jù)。這時(shí)候，依靠固定報(bào)表顯然無法滿足需求。

OLAP系統(tǒng)開始發(fā)揮他們的長處，數(shù)據(jù)開發(fā)團(tuán)隊(duì)依據(jù)業(yè)務(wù)和數(shù)據(jù)，在OLAP系統(tǒng)中設(shè)計(jì)相應(yīng)的CUBE，定期更新，而需求方則可以在OLAP系統(tǒng)中，基于設(shè)計(jì)好的CUBE，自己選擇需要查詢的維度、指標(biāo)、條件等等，進(jìn)行探索分析查詢。

一個(gè)比較好的OLAP系統(tǒng)需要依賴以下方面：規(guī)整的數(shù)據(jù)倉庫模型(事實(shí)表、維度表)，不錯(cuò)的OLAP引擎，Nice的OLAP前端工具。

自助分析系統(tǒng)

為了進(jìn)一步減少數(shù)據(jù)開發(fā)的工作量，讓需求方能更加自助和自主的去完成一些取數(shù)。用戶可以自己上傳Excel、文本，接入數(shù)據(jù)倉庫數(shù)據(jù)，接入自己數(shù)據(jù)庫數(shù)據(jù)，自助建模(相當(dāng)于定義Cube)，然后來探索分析數(shù)據(jù)。

另外，該系統(tǒng)也適用于那些沒有數(shù)據(jù)開發(fā)團(tuán)隊(duì)的小公司。

自助取數(shù)系統(tǒng)

慢慢的，又遇到問題了。OLAP系統(tǒng)和自助分析系統(tǒng)，都需要定義CUBE，而CUBE對數(shù)據(jù)模型(事實(shí)表，維度表)有一定的要求。對于一些數(shù)據(jù)需求，很難固化成數(shù)據(jù)模型去支持查詢。

剛開始，直接提供SQL接口讓需求方去提交SQL去查，但問題是他們不太會(huì)SQL，即使會(huì)，提交過來的SQL執(zhí)行性能很有問題。因此，我想增加一種功能，讓需求方只去操作界面，后臺根據(jù)界面操作，轉(zhuǎn)換成SQL去執(zhí)行。這個(gè)問題看似簡單，但是我想做的更靈活簡單一些。