[[200579]]

【51CTO.com原創稿件】隨著蘇寧智慧零售的發展，現已形成六大產業布局，分別是：蘇寧云商、蘇寧置業、蘇寧文創、蘇寧投資、蘇寧體育、蘇寧金融。

六大產業的資源整合中全產業會員融合是重中之重，全產業會員融合以蘇寧易購會員帳號為基準進行全產業打通，以達到一個帳號全產業使用的業務目標，整個融合依托蘇寧易購現有的基礎技術、架構建設與現有業務系統的服務能力。

[[200580]]

我有幸參與了全產業會員融合的項目之一，在這里從基礎架構、數據流轉、營銷、效益等方面展開給大家介紹蘇寧易購、聚力 PPTV、蘇寧體育、龍珠之間的會員融合技術實踐。

我是技術出身，這里介紹數據融合和營銷融合相關過程中碰到的相關事項，其中將重點介紹營銷融合相關系統的一些設計。

基礎架構融合

網絡

蘇寧易購、聚力目前在全國均是多 IDC 架構，IDC 數量不下于 10 個，其中聚力機房非自建。

全產業會員融合項目涉及到的系統眾多，每個 IDC 都會有若干個系統部署在里面，系統之間相互調用經常會跨 IDC，導致 IDC 之間的網絡拓撲相當復雜，網絡鏈路也相當長。

解決網絡延遲、網絡鏈路過長問題主要是通過拉企業專線來解決。下圖為城市 A 的 IDC 與其他城市的 IDC 之間的全拓撲結構，已經是相當復雜。

若每個 IDC 之間 Point To Point 的網絡拓撲更復雜，專線數量如下圖所示，企業專線成本也是相當高。

基于成本、性能考慮，業務系統劃分為兩類：

• 時效性要求高的業務數據。
• 對時效不敏感且可延遲同步的業務數據。

基于這兩類業務進行 IDC 劃分，從而減少拉企業專線的數量，同時同產業的同類業務盡量不跨機房，對專業需求做統一規劃。這樣在滿足業務的 TP90、TP99 情況下也節省了成本。

基礎組件

約定原則：

• 各產業現有系統所使用的基礎組件保持現狀。
• 新系統原則上可以使用蘇寧易購基礎組件。

部分公共組件：

部分公共系統：

• Redis 高可用架構方案以及 Redis client Sedis 組件，支持橫向擴展、數據遷移、大 KEY 發現。
• 數據庫操作組件 DalClient，兼容 DB2、MYSQL、支持跨 DB 事務，支持注解事務，SQL 解析，靈活的、可自定義分庫分表等功能。
• B2C-FC 是公共流控組件，支持按用戶、URL、業務(商品、品類)等維度進行流量頻次控制，支持令牌桶算法、用戶軌跡驗簽、排隊、實時 UA、IP 聚集分析等功能。
• RSF 中間件是一套成熟的 SOA 解決方案軟件套，包括服務注冊、服務發現，服務治理，服務多版本管理、服務異常管理、流量控制、服務降級、服務資源隔離等。

易購基礎組件就不例舉了，蘇寧以易購基礎組件在各產業中為主基調進行使用，避免了后期在各產業中基礎組件的重復研發，也推進了易購基礎組件的發展，這樣業務推動技術，技術驅動業務，形成一個良好的相互推動的生態循環。

數據融合

會員基礎數據融合

會員基礎數據融合中的一帳通項目是全產業會員融合中一個關鍵項目，重點是各產業之間會員的打通。目前現狀如下圖：

易購、聚力 PPTV、龍珠、體育各產業自身會員自成體系(會員帳號、會員成長體系)，均有各自的會員帳號、會員基礎數據、會員營銷數據，也有各自的登錄、注冊門戶。我們的業務目標是一個帳號可登錄六大產業所有系統，且權益互通融合。

基于目前企業架構及系統架構，設立一個大而全的六大產業的會員中心，從數據復雜度、項目周期、成本上來講都是難以接受的，在這種情況下我們把一帳通項目核心邏輯定義在會員關系綁定，會員資料互通的基本原則上。

會員關系綁定采用單向系統綁定原則，均由蘇寧易購會員系統(CMF)綁定，再異步推送綁定關系給其他產業的會員系統。

• 用戶在聚力PPTV注冊，注冊成功后聚力 PPTV 的會員系統會異步把消息推送到易購的會員系統。
• 易購會員系統根據請求數據自動生成一個易購帳號，并把聚力 PPTV 帳號與易購帳號進行關系綁定，最后易購會員系統把綁定關系推送給聚力 PPTV 系統，從而實現了一個帳號可登錄易購、也能登錄聚力 PPTV。
• 聚力 PPTV 老用戶在登錄時，會引導用戶去做關系綁定操作，還是由易購會員系統進行關系綁定，并再異步給聚力 PPTV 系統。
• 易購會員系統具備綁定關系、會員資料補發能力。

數據一致性：

• 用戶資料數據一致性由各產業會員系統定時發起一致性檢查請求與對帳功能，類似事物消息的最終一致性。

安全：

• 涉及會員敏感信息(會員資料)，與用戶端交互通信協議均采用 HTTPS+Token 驗證。
• 接入蘇寧易購的風控系統，并建立特定的風控模型，防撞庫、防刷、防 CC 攻擊等。

營銷融合

營銷融合是基于上面的會員數據融合后獲取數據，依靠用戶基本數據與采集用戶行為數據進行精準化營銷。

對于蘇寧易購來講，營銷融合在閉環營銷平臺都已經是支持的，各產業的融合帶來的挑戰是數據量、特征量、計算量等維度變化(針對原有模型增加特征)等挑戰。

整體邏輯架構

我們先看整體邏輯架構圖：

精準營銷平臺分離線營銷(Offline Marketing)、實時營銷(Real Time Marketing)。

實時營銷的總體結構是實時采集蘇寧易購、PPTV、體育等各端各渠道的數據，基于大數據實時計算的能力實時對數據分析、聚集、特征抽取計算進行精準營銷，再依賴精準、可靠、快速觸達的消息觸達系統進行消息推送。

消息推送系統目前支持微信、Push、Email、SMS、站內信 5 種類型的消息。

隨著 PPTV、體育業務數據的融合到系統，每天業務上的消息推送量呈上千萬的增長，同時對推送時間要求更是在秒級以內。

比如：體育賽事結果的推送，都要求秒級以內完成，從賽事結果的出來，到通過計算用戶基本數據與行為數據來確認哪些特征的用戶需要推送此次賽事結果，全部都是在秒級內完成。

同時 818、雙 11 這樣的大促期間，發送的消息總量達到幾億條消息，這對觸達系統在設計上滿足這么大的消息量處理與保證時效性都具有很大挑戰。

觸達系統

下面是觸達系統的整體邏輯架構圖：

 

我們整個系統的設計原則就是任何模塊越簡單越好，當然簡單并不代表缺少功能和邏輯。在外部數據來源、各模塊功能上都基于簡單原則設計。

觸達系統為了保證其性能，我們在設計過程中聚焦在消息發送上，不對消息進行組裝、發送額度等業務處理。

吞吐量與數據源

觸達系統只接受來自按渠道+平臺劃分的 kafka topic 數據，這方面保證了觸達系統的消息來源的單一性，同時觸達系統也不對外提供任何協議的服務。

使用 kafka 也解決了與數據來源系統的耦合，在設計上每個 kakfa topic 的 partition 均按支持 2 萬 TPS 設計。

每個渠道+平臺對于消息量、消息時效性要求是不一樣的，按 topic 來劃分數據源方便于與按 kafka topic 降級和服務器擴展，即能滿足量不大的服務容量需求，也能保證大容量需求的業務場景同時不至于浪費服務器。

渠道隔離與降級

每個 JVM 實例只會接受一個 kafka topic 的消息，這樣就能輕松做到按 kafka 進行資源隔離，防止了相互之間的影響而可能引起的雪崩。

JVM 實例與 kafka topic 關系維護在統一配置平臺同時支持 JVM 實例與 kafka topic 的映射關系支持熱切換，在整個切換過程 JVM 監聽線程池會停止對 kafka topic 的監聽，消息處理線程、消息回執線程池均會停止工作，直到新的 topic 相關的線程池被拉起。

先停止監聽線程池工作，再等待消息處理線程池、消息回執線程池處理完所有 Task 后再切換，整個系統各模塊之間通信采用事件監聽模式進行交互：

• 降級支持按 topic 降級、流量控制降級、按速率降級(在消息監聽模塊中使用)實現了消息方按一定的速率(速度可配，可隨時更改)從 kafka partition 中取出數據(使用的是令牌桶算法)。

營銷執行平臺

營銷執行平臺基于營銷事件、營銷標簽、用戶特征計算符合條件的用戶，使用 ES 做數據聚合分析、排重、標簽篩選等。

依靠 Hbase、Hive、DB2 等對數據存儲持久化，基于用戶畫像、用戶標簽等做離線的用戶需求特性化分析、預測，使用 Spark、Storm 基于用戶屬性模型、行為模型等做實時預測與營銷。

小集群大規模

用戶特征基本數據、營銷標簽數據、排重數據等數據總量達到月度十億以上，均在 ES 大集群里，分 30 個小的 ES 集群，每個集群為 5 個 Shard，形成一個大的 ES 集群。

從架構上解決了單索引量大與查詢時跨多 shards 后數據聚集到單 ES 實例導致此 ES 宕機等問題，同時提升了響應時間。用戶數據由用戶唯一標識進行路由來決定落在哪個小集群，路由規則借鑒了 Redis 的 slots 解決方案。

離線營銷 JVM 搶占

離線營銷由運營人員在各營銷門戶創建營銷活動，離線營銷活動特點是計算數據量大，當多活動同時跑時可能會出現多活動路由到同一 ES 小集群里會瞬間對此 ES 集群造成大沖擊。

基于此情況，設計了一個基于 ZK 鎖搶占 JVM 設計 ，確保一個 ES 小集群同時間只有一個活動任務計算。

效益展望

“一賬通”實行后，多平臺導流效果表現較好。數據表明，PPTV 的新增用戶有超過一半會導流到蘇寧易購，其中有效轉化率與易購平臺本身的轉化率相似，產生購買行為。

另外，用戶權益更加集中，會員享受服務更加全面。在擁有更多元、更優惠的玩法同時，服務基本覆蓋衣食住行及文體娛活動。

聚力 PPTV 新增注冊用戶很大比例導流結合易購新人 199 禮包也成功為聚力導流為易購新增用戶，訂單轉化率也增高。

聚力 PPTV 與蘇寧易購實現線上流量互導，跨業態導流，產業間交叉引流，后續進行會員權益跨產業共享互通，其他權益正在打通中，進一步促進流量互引。

流量互引后就是全產業會員數據完全整合，全方面采集會員各維度數據，用大數據、人工智能相關技術分析用戶行為、特性，讓我們更了解用戶所需，對市場進行預測。

[[200585]]

尹堅

蘇寧云商IT總部高級架構師

主要負責基礎軟件架構、系統架構建設和基礎組件技術研發工作，同時，參與 818、雙 11 大促保障、系統穩定和性能優化工作。在蘇寧的任職期間，經歷了公司線上線下的快速融合，以及公司技術能力的飛速發展，曾參與與負責蘇寧易購大聚惠、四級頁、云信、流控排隊等系統的架構和研發工作。

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】