圖片

圖片

圖片

1. 冷啟動

冷啟動：在用戶沒有任何歷史行為數據的情況下，推薦系統需要通過其他方式進行推薦。常見的方法有：

• 熱門推薦：基于整體用戶的熱門內容進行推薦。
• 隨機推薦：隨機選擇一些內容進行推薦。
• 問卷調查：通過問卷調查獲取用戶的興趣和偏好，從而進行推薦。

2. 基于內容的推薦

基于內容的推薦：通過分析內容本身的特征進行推薦，例如文章的主題、關鍵詞、產品的屬性等。主要步驟包括：

• 內容分析：對推薦對象（如文章、商品等）進行特征提取。
• 用戶畫像：根據用戶的歷史行為和興趣建立用戶畫像。
• 匹配推薦：將內容特征與用戶畫像進行匹配，推薦符合用戶興趣的內容。

3. 基于行為的推薦

基于行為的推薦：通過分析用戶的行為數據（如瀏覽、點擊、購買等）進行推薦，主要包括以下方法：

• 協同過濾：基于用戶行為數據，利用其他用戶的相似行為進行推薦。

用戶協同過濾：推薦與當前用戶有相似行為的用戶喜歡的內容。

物品協同過濾：推薦與當前用戶喜歡的內容相似的其他內容。

• 行為序列分析：分析用戶的行為序列，預測用戶的下一步行為。

4. 相關性計算

相關性計算：在推薦過程中，計算用戶與內容之間的相關性評分。常見的方法有：

• 向量空間模型：將用戶和內容表示為向量，計算向量之間的相似度（如余弦相似度）。
• 矩陣分解：通過矩陣分解技術（如SVD）將用戶-內容的交互矩陣分解成低維空間進行計算。
• 深度學習：利用神經網絡模型進行用戶和內容的特征學習，計算相關性。

5. 結果排序

結果排序：根據相關性計算的評分對推薦結果進行排序，同時考慮其他因素，如：

• 新穎性：推薦一些用戶未接觸過的新內容。
• 多樣性：保證推薦結果的多樣性，避免過于單一。
• 業務規則：結合業務需求對結果進行調整，如優先推薦某些特定內容。

6. 推薦工程架構

推薦工程架構：為了實現上述步驟，推薦系統需要有一個穩定、高效的工程架構支持，主要包括：

• 數據處理：高效的數據收集、存儲和處理機制，確保數據的實時性和準確性。
• 模型訓練：高效的模型訓練和更新機制，確保推薦模型的實時性和準確性。
• 服務部署：高效的服務部署和管理機制，確保推薦服務的穩定性和高可用性。

圖片

圖片

圖片

圖片

1.App客戶端

功能：用戶界面，負責展示推薦的Feed流。

流程：用戶請求首頁推薦Feed流，App客戶端將請求發送到推薦系統。

2.推薦網關層

功能：統一處理所有推薦請求的入口。

流程：接收App客戶端的推薦請求并將其轉發到推薦邏輯層。

3.推薦邏輯層

功能：處理推薦請求的核心邏輯。

參數驗證：驗證請求參數是否合法。

拼裝ES請求參數：將請求參數轉換為ElasticSearch所需的格式。

結果過濾和去重打散：對搜索引擎返回的結果進行過濾、去重和打散處理。

渲染返回結果：將處理后的推薦結果返回給推薦網關層。

4.排序層和召回層

功能：從搜索引擎中召回相關數據。

工具：使用ElasticSearch進行數據召回。

功能：根據一定的規則對推薦結果進行排序。

規則：排序規則基于人工確定的權重和規則。

排序層

召回層

5.搜索引擎（ElasticSearch）

功能：高效地搜索和返回匹配的數據。

流程：根據拼裝好的請求參數從索引中檢索數據并返回給推薦邏輯層。

3. 特點分析

• 全局推薦，無個性化

召回源單一：系統只從一個數據源中召回推薦內容。

基于人工規則排序：排序規則是預先定義好的，缺乏個性化和動態調整。

全局排序，無個性化：推薦結果對所有用戶都是一樣的，沒有個性化定制。

不支持線上ABTest：無法進行AB測試來優化推薦策略。

特點：

4. 優缺點分析

• 優點：

簡單易實現：架構簡單，適合初期搭建和快速上線。

易于維護：全局規則和單一召回源使得系統容易維護。

• 缺點：

• 缺乏個性化：無法根據用戶的個性化需求提供定制推薦，用戶體驗較差。

• 擴展性差：不支持AB測試和動態調整，不利于系統的持續優化和改進。

• 性能瓶頸：隨著用戶和數據量的增加，系統可能會面臨性能瓶頸。

圖片

1.App客戶端

功能：用戶界面，負責展示推薦的Feed流。

流程：用戶請求首頁推薦Feed流，App客戶端將請求發送到推薦系統。

2.推薦網關層

• 功能：統一處理所有推薦請求的入口。

• 流程：接收App客戶端的推薦請求并將其轉發到推薦排序層。

3.推薦排序層

• ABTest分組試驗：支持AB測試，可以對不同用戶群體使用不同的推薦策略。

• 記錄推薦血統：記錄推薦的路徑和決策，便于分析和優化推薦效果。

• 過濾、去重和打散：對召回的結果進行過濾、去重和打散處理，以提高推薦的多樣性和質量。

• 召回源分層排序：基于召回源進行排序，使用了Item-Based協同過濾（Item-Based CF）和用戶/商品畫像等算法。

• 細粒度控制策略：通過細粒度的策略控制推薦的細節，如權重分配、優先級設定等。

4.推薦召回層

• 搜索引擎（ElasticSearch）：高效地搜索和返回匹配的數據。

• Redis：作為緩存系統，加速數據的讀寫，提高系統響應速度。

5.日志與數據處理

• SparkETL：通過ETL流程計算用戶特征和商品相似度。

• Flume和Kafka：用于實時收集和處理用戶的實時畫像數據。

• 日志收集：收集曝光日志、點擊日志、評論日志和收藏日志等用戶行為數據。

• 數據處理：

3. 特點分析

• 個性化推薦

引入個性化召回源：支持基于用戶興趣、行為和偏好的個性化推薦。

支持ABTest：可以進行AB測試，優化和驗證不同的推薦策略。

記錄推薦血統：追蹤推薦結果的生成路徑，便于分析和改進推薦算法。

4. 優缺點分析

• 優點：

個性化推薦：引入個性化召回源，能夠根據用戶的行為和偏好提供個性化的推薦，提升用戶體驗。

支持ABTest：能夠通過AB測試不斷優化推薦策略，提高推薦效果。

日志記錄和數據處理：詳細的日志記錄和強大的數據處理能力，為推薦系統的優化和改進提供了數據支持。

實時性：通過Flume和Kafka實現用戶實時畫像，能夠實時調整推薦策略。

• 缺點：

• 復雜度提高：系統復雜度顯著提高，需要更多的資源和技術支持。

• 維護成本增加：個性化推薦和數據處理的引入，使得系統的維護和調優成本增加。

• 數據依賴性強：推薦效果高度依賴于數據質量和數據處理的準確性。

1.App客戶端

功能：用戶界面，負責展示推薦的Feed流及其他推薦內容（如找相似、猜你喜歡等）。

流程：用戶請求推薦內容，App客戶端將請求發送到推薦系統。

2.推薦網關層

• 功能：統一處理所有推薦請求的入口。

• 流程：接收App客戶端的推薦請求并將其轉發到推薦排序層。

3.推薦排序層

• ABTest分組試驗：支持AB測試，驗證和優化不同推薦策略。

• 記錄推薦血統：記錄推薦結果的生成路徑，便于分析和優化推薦效果。

• 過濾、去重和打散：對召回的結果進行過濾、去重和打散處理，提高推薦多樣性和質量。

• 機器學習驅動排序：通過機器學習算法進行排序，實現個性化推薦。

• CF實時挖掘：協同過濾算法的實時計算，提供動態推薦。

• 用戶實時興趣：根據用戶的實時行為數據調整推薦內容。

• 細粒度控制策略：通過細粒度的策略控制推薦的細節，如權重分配、優先級設定等。

4. 推薦召回層

• 統一召回服務：整合不同的召回源，提供統一的召回服務。

• 特征服務：基于用戶特征和商品特征進行召回。

• 搜索引擎（ElasticSearch）：高效地搜索和返回匹配的數據。

• Redis集群：作為緩存系統，加速數據的讀寫，提高系統響應速度。

5. 日志與數據處理

• Spark離線ETL：通過ETL流程計算用戶特征和商品相似度。

• Flume和Kafka：用于實時收集和處理用戶的實時畫像數據。

• Stream實時接數：實現實時數據流處理，支持實時推薦策略調整。

• 日志收集：收集曝光日志、點擊日志、評論日志和收藏日志等用戶行為數據。

• 數據處理：

• 立體監控系統：對系統各個環節進行實時監控，確保系統穩定運行。

3. 特點分析

• 實時化和機器學習驅動

實時召回策略：根據實時數據調整召回策略，提高推薦的時效性。

實時特征：利用實時用戶行為數據進行推薦，提升用戶體驗的及時性。

機器學習驅動排序：通過機器學習算法實現排序，提升推薦的精準度和個性化水平。

實時化數據：引入實時數據處理，動態調整推薦策略和內容。

• 組件化

• DSL靈活編排組件：使用DSL（領域特定語言）靈活編排各個推薦組件，提高系統的可配置性和可擴展性。

• 全面微服務化：將系統各部分功能模塊化，部署為微服務，提升系統的靈活性和維護性。

4. 優缺點分析

• 優點：

個性化推薦：通過機器學習和實時數據處理，實現高度個性化的推薦，提升用戶體驗。

實時性：實時處理用戶行為數據，動態調整推薦策略，保持推薦內容的時效性。

高擴展性：系統全面微服務化和組件化，提升系統的可擴展性和維護性。

靈活性：使用DSL靈活編排各個推薦組件，方便進行策略調整和功能擴展。

• 缺點：

• 復雜度提高：系統架構復雜度進一步增加，需要更多的技術支持和資源投入。

• 維護成本增加：實時數據處理和機器學習算法的引入，使得系統的維護和調優成本增加。

• 數據依賴性強：推薦效果高度依賴于數據質量和數據處理的準確性，需保證數據的及時性和準確性。

圖片