這四件事帶你走出深陷的數據分析迷宮
譯文通過真實世界中的實例，我們將共同通過種種錯誤的數據分析方式總結出正確的技巧與訣竅。
相信每位朋友都遇到過這樣的情況：將來自各類渠道的數據收集起來，通過A/B測試進行驗證，希望借此得出分析結論。但在檢查結果時，我們發現這些數字似乎并不怎么合理。事實上，數據驗證也是我們日常工作中的重要環節，而且與編碼一樣需要大量追蹤與調試。在今天的文章中，我們將共同通過真實世界中的實例，在對種種錯誤的數據分析方式的總結中找出正確的技巧與訣竅。
別急著做出假設
感覺上是對的，并不代表就真是對的。我們的大腦常常具有誤導性。我發現很多分析師都因這種失誤而身陷分析迷宮。
下面來看一種常見的問題：變更聚合查詢。
先看以下兩行查詢：
- SELECT
- Month,
- Group1,
- Group2,
- Group3,
- CONCAT(Group1, “-”, Group2) as NewGroup,
- SUM(Usage) as total_usage
- FROM usage
- GROUP BY 1, 2, 3, 4, 5
- SELECT
- Month,
- CONCAT(Group1, “-”, Group2) as NewGroup,
- SUM(Usage) as total_usage
- FROM usage
- GROUP BY 1, 2
乍看起來，很多人會認為這兩條查詢的含義是完全一致的。左側的查詢只是包含了額外的幾列，對吧?但事實并非如此。左側查詢中包含5個聚合層級，而右側的只有2個。左側的查詢返回的總和數字更小，因為其定義更為明確。如果將其作為分析流程中的組成部分，那么不同的結果會給后續分析造成嚴重影響。
聚合錯誤是一類非常常見的問題，因此即使對自己的思路很有信心，大家也請務必再檢查一遍。
Snapshot(快照)問題
過去四年當中，身為分析師與教師的從業經歷讓我意識到一大常見數據錯誤的起源：snapshot表。這類數據表面向特定時間段(每月、每周、每日)，旨在保存對應時間點的數字化快照。
無論原因為何，這類表確實難倒了很多人。首先，這類表往往很難理解，這意味著剛剛接觸此類表的用戶無法立即意識到其屬于snapshot表，直接導致用戶對數據進行錯誤運用。最簡單的預防辦法就是為其設置明確的名稱，告知用戶其屬于snapshot類型。
我們該如何識別出snapshot表并找出其使用方法?最明確的標志就是，snapshot表中的全部指標往往都較平均值有所夸大。大家可能曾經把周快照當成日快照處理，并發現其結果比預期值大5到7倍——幸運的是，這種錯誤還是很容易發現的。大家可以將其拆分成一天，例如時段中的***一天，或者干脆取其中的***值。具體參考以下示例：
選定一天：
- SELECT
- TD_TIME_FORMAT(time, ‘yyyy-MM’) as MONTH,
- category,
- usage
- FROM usage_snapshot
- WHERE TD_TIME_RANGE(time, ‘2016-04-01’)
找到***值：
- SELECT
- TD_TIME_FORMAT(time, ‘yyyy-MM’) as MONTH,
- category,
- MAX(usage) as total_max_usase
- FROM usage_snapshot
關鍵在于堅持以同一種方法使用snapshot表。根據實際背景與目標，我們可以選擇最為有效的具體處理辦法。
總結模式
在驗證數據有效性時，我發現總結其中的模式能夠有效識別錯誤。具體問題包括：
- 是否全部數據皆受到影響?
- 受影響數據是否全部來自同樣的群組?
- 區別間呈正相關狀態，抑或各自隨機?
- 數據之中是否存在某些模式?
這些問題有助于縮小思考范圍。如果全部數據皆受到影響，則問題往往源自腳本或查詢，而非數據本身。但如果某月或某日的值明顯較低，則需要調查基礎數據，這意味著該時段內的數據收集機制可能存在錯誤。
如果所驗證的數據往往以等比例方式低于原始數據，可能意味著部分數據沒能被聚合查詢所正常收集。而基本邏輯錯誤則往往令分析結果呈現“隨機性”，意味著其中沒有明顯的模式。
從頭開始進行梳理
如果嘗試了一切辦法但仍然無法確定問題，那么只能進行深入挖掘了。雖然從直觀上講，我們都希望能夠從出錯的位置開始推進，但現在大家需要安下心來從頭開始梳理。
數據中的錯誤往往最初尚屬于良性范疇，但隨著分析流程推進而變得愈發糟糕。這就像是在解數學題，我們要從頭開始再推導一遍。這項工作可能費時費力，但卻能夠以清晰的思路幫助大家了解數據是如何一步步走偏并最終帶來完全不可理解的結論。
相信大家一定也在處理數據驗證工作中有著自己的技巧與訣竅，請在評論中不吝分享!
原文鏈接：4 Tips for Easier Data Management
