我們一起看看如何提升指標敏感度?
你好,這里是巡山貓編輯部,我是巡山貓。
最近在梳理過去的項目中的指標,看看不同的場景下,使用哪些指標更合適。隨著整理,發現很多時候,我們對指標的應用僅思考是否能夠度量一個業務場景,并沒有思考是不是有更好的口徑,或者指標。
下面我們就以一個具體的例子來講講不同指標的不同口徑,有什么差異。
指標如何選擇
我們來看一個場景:當我們打開京東時,我們要計算頁面中「精選」模塊的點擊情況,我們該怎么計算?
相信你能想到 CTR ,也就是 點擊次數 / PV,算出來是 平均一次PV,有多少次點擊
但是這么算真的合理嗎?思考30秒,再往下看。
就分子來說,點擊次數沒有異議,點擊了多少次就是多少次。但是PV呢?PV其實有三種計算方式:
1、頁面展現次數展現就算,不論是首次,還是各種操作后,回到當前頁面,都記錄
2、頁面加載次數首次加載才算,除非頁面再次加載,才重新記錄,否則就只記錄首次進入頁面
3、模塊曝光次數用戶實際看到模塊的次數,看到1次后就記錄,再次看到則不記錄
這3種方法,你認為是哪種方式更合理呢?
想要回答這個問題,我們首先要明確,CTR度量的是什么?
1、是每一次首頁展現,精選模塊被點擊的次數,且需要與其他模塊做對比?
2、還是一次首頁加載,無論是否從其他頁面回退(不再重新加載),精選模塊總共被點擊了多少次?
3、還是度量這個模塊被看到了多少次,有了多少次有效點擊?
如果是第1種,那么我們公式中的分母是 頁面展現次數。即每次頁面被打開,我們都算1次,無論是 首次打開頁面,還是一頓操作后,又從別的頁面回到首頁。這種計算口徑,能很好的與其他模塊對齊量化口徑。但是我們不能保證每次用戶都能看到 精選模塊。
如果是第2種,與第1種的差異僅僅是,我們無論這個頁面展現了多少次,都只算第1次,只要沒有重新加載頁面,我們就不記錄。相比第1種,我們算出來的CTR值更大,指標也會更加敏感。
為什么第2種口徑下的CTR的度量會更敏感呢?設想一下,用戶在精選模塊不斷的點擊,找不同的想要的商品,找了10次才找到;以及用戶一上來就找到了想要的商品,只找了1次。這兩種情況,我們肯定希望是后者。
如果用第1種口徑來計算,由于我們每次頁面展現和點擊,都會記錄,那么CTR就一直是1(點擊1次/展現1次),無論是找了10次,還是找了1次,CTR都是1。
但是如果用第2種口徑來計算,找了10次的CTR是10,找了1次的CTR是1。因為無論你點擊了多少次,我們都只記錄1次。
可以發現,第二種口徑,我們能夠用CTR來度量相同業務場景下的不同用戶操作,從而更好的度量產品的效果。所以第2種口徑會更加的敏感。
我們來說下第3種口徑。第三種口徑較前2種的差異就是,多少用戶真實的看到了這個模塊,這個模塊的點擊效果到底是如何的。但是同樣也帶來了問題,如果我們要將這個模塊與頁面中的其他模塊拉齊,我們就不太容易做到。因為有的模塊曝光了,有的沒有曝光,我們在計算時,就需要做一定的處理,從而不能做到數據上的易用性。
當然,用這幾種口徑中的哪種,都需要強結合業務,因為隨著業務的不同,我們可能需要關注的越來越細致,就需要曝光口徑下的CTR,但前期來說,加載口徑的CTR就能滿足業務的使用了。
指標如何優化
上面我以CTR為例,說明了一個指標本身就會有多種口徑,以及各個口徑的差異那么問題來了,是不是每個指標,都會有這樣的口徑差異呢?
這個問題肯定是仁者見仁,智者見智。結合著不同的業務場景,我們可以有不同的指標,不同的指標我們也可以做相應的拆分。
就指標來說,我們可以將指標拆分為 底層公式 + 業務變量。
底層公式很簡單,比如CTR,就是 點擊次數 / 展現次數,這個是一個最基礎的計算邏輯。
但是業務變量我們就需要強結合業務了。如同上文所說,這個展現可能是服務端記錄了展現,也有客戶端記錄的展現,但是這兩種都不是用戶實際是否看到模塊。所以我們在實際建立指標時,還需要考慮業務變量。
隨著業務的迭代與發展,我們常常需要更細致的度量業務,所以指標也需要隨著業務不斷調整,更加精確的度量業務。
以上,就是本期分享。