ADC現場報道:個性化搜索 挖掘用戶群體特性和購物傾向
原創【51CTO特約報道】2013年7月13-14日, 由阿里巴巴集團主辦的ADC•阿里技術嘉年華將在杭州海外海國際會展中心舉行,2011年舉辦首屆,今年是第三屆,已發展為互聯網行業最開放、最實戰派的技術交流盛會之一。被大家視為碼農典范的技術大神MySQl的創始人Michael Widenius,將作為嘉賓現場分享。
本屆嘉年華設置了大數據技術與應用、無線技術、業務架構&后端技術、前端技術、搜索、廣告、體驗設計、互聯網測試、系統開發和運維等九大分場,共有80多個主題,其中包括了阿里巴巴、騰訊、百度及更多知名的互聯網公司的在實踐中積累起來的技術經驗。比如阿里巴巴的去IOE、新浪微博的系統穩定性等主題都反映了業界的主流的工程技術方向。
這次是來自于一淘的技術專家陳曦(公達)給我們帶來的課題:個性化搜索和應用,主要是挖掘用戶的群體特性和購物傾向。建立一整套以數據驅動,合理的個性化特征體系和優化目標的個性化模型。解決個性化搜索中面臨的一些重要問題:搜索結果的多樣性,防止過度個性化。介紹個性化模型的算法、系統和可視化數據分析工具。
在演講過程中,公達給大家介紹了為什么要做個性化搜索。首先是解決長尾需求,實現搜索結果多樣性,再者就是滿足用戶隱含購物需求,縮短購物路徑。所以,在我們購買T恤通過——T恤 女——T恤 女 甜美——T恤 女 甜美[50~100]這樣的一個過程。
那么在什么時候我們才需要個性化呢?公達給我們一個用戶意圖分析模型來說明這個問題。
個性化搜索會針對用戶的行為推薦,比如對于高檔購買力的人和低檔購買力的人推薦展示結構是不一樣的。
個性化搜索系統主要是通過搜索基礎數據,比如商品,用戶以及Query來通過離線計算,這里又包括了全量數據處理,實時數據處理通過用戶數據引擎和Query處理引擎發送到前端,當然也可以通過商品搜索引擎直接推送到前端。
公達還給出了一個購買力模型,主要是包括:類目價格分檔、根據用戶(購買,收藏,點擊)寶貝的架構來計算用戶+類目的購買力;利用;還有一個是利用協同過濾的思想,補充沒行為的用戶+類目的購買力。下面給出一個小編看不懂的模型:
個性化搜索還有個關鍵詞偏好,一淘通過用戶點擊,購買,成交,收藏的商品標題挖掘用戶所關注的語意單元的信息。這里公達給大家提供了官方思路:基于歷史商品標題分詞粒度的TF-IDF統計模式。那么這樣問題在哪里呢?第一,粒度太細,用戶在單個詞上難有長期偏好,第二,詞太多,存儲空間大;第三,頁面展示效果較凌亂。還有一個思路就是建立基于<user-商品>原始統計為基礎的topic model的解決方案。
下面淘寶還分析了用戶數據,主要是購買力和年齡的分布情況。