譯者 | 核子可樂

審校 | 重樓

如今，內容審核已經成為各類數字平臺的重要組成部分，堪稱用戶信任與安全保障的前提。盡管人工審核能夠處理部分任務，但隨著平臺規模的擴展，AI驅動的實時審核變得愈發重要。機器學習（ML）驅動的系統能夠成規模且高效開展內容審核，同時將再訓練與運營成本降低至最低。本份指南將為你概述部署AI驅動型實時審核系統的方法。

實時審核系統的核心屬性

實時內容審核系統負責評估用戶提交的內容（文本、圖像、視頻或其他格式的數據），確保其符合平臺政策。此類系統的核心屬性包括：

• 速度：在不影響用戶體驗或引入顯著延遲的前提下審核內容。
• 可擴展性：能夠及時處理每秒數千次請求。
• 準確性：盡量減少誤報與漏報，提高可靠性。

部署AI內容審核系統的分步指南

步驟1：定義政策

政策是一切內容審核系統的基礎，用以定義內容評估規則。你可以設置不同的政策，分別管控仇恨言論、欺詐預防、成人及色情內容等等。下面我們以X定義的政策為例，進行具體分析。

這些政策被設定為客觀規則，可作為配置進行存儲以備訪問和評估。

步驟2：數據收集與預處理

政策定義完成后，我們需要收集數據以作為機器學習模型的訓練樣本。數據集應包含平臺上多種預期內容類型的良好組合，涵蓋與政策相符/不符的對應示例，同時避免偏見。

數據來源：

• 合成數據生成：使用生成式AI創建數據。
• 開源數據集：從其他平臺及開源網站上選擇符合需求的數據集。
• 歷史用戶生成內容：以符合道德要求的方式使用用戶發布的歷史內容。

數據收集完成后，則由訓練有素的人工審核員進行標注。審核員需要對平臺政策具備深入理解，標注完成的數據則作為“標準集”以用于訓練或微調ML模型。

在ML模型執行實際數據操作并生成結果之前，首先應對數據進行處理以提高效率與兼容性。相關預處理技術包括但不限于：

• 文本數據：通過刪除禁用詞并將其拆分為n-gram以規范化文本，具體視數據使用方式而定。
• 圖像數據：將圖像標準化為特定分辨率、像素、大小或格式，以保證與模型相兼容。
• 視頻：提取不同幀并將其按圖像進行處理。
• 音頻：使用各類自然語言處理（NLP）模型將音頻轉錄為文本，而后使用文本模型。但這種方法可能會遺漏須審核的非語言內容。

步驟3：模型訓練與選擇

根據平臺需求及所支持的內容類型，可以使用各類模型，具體包括以下選項：

文本

• 詞袋/詞頻-逆文檔頻率（TF-IDF）：可為有害或違反政策的詞語分配高權重，確保及時發現較為罕見的違規內容。但這種方法亦有其局限性，因為用于匹配違規文本的詞匯列表有限，老練的發布者往往可以刻意回避。
• Transformers：作為GPT的底層技術，此架構能夠有效捕捉委婉表達或有害文本的各類變體。可以考慮根據平臺政策對GPT模型進行微調。

圖像

• 預訓練卷積神經網絡（CNN）: 這類模型在大量圖像數據集上訓練而成，可以識別出裸露、暴力等有害內容。典型代表包括VGG、ResNet等。
• 自定義CNN: 為提高準確率與召回率，CNN可針對特定類別進行微調，并根據平臺政策再做調整。

上述模型都必須針對“標準數據集”進行訓練和評估，確保在部署前可達到所需性能。你亦可訓練模型以生成標簽，再對標簽進行處理以支持內容審核決策。

步驟4：部署

在模型準備就緒后，即可使用API進行公開。其他服務可以調用這些API以實現實時審核。對于不需要實時審核的非緊急任務，則可設置批量處理系統。

步驟5：人工審核

AI/ML系統往往無法以高置信度做出所有決策。當預測ML得分低于可信決策的閾值時，模型可能給出模棱兩可的結論。此時，應當由人工審核員接手以做出準確判斷。人工審核員的介入對于解決AI誤報問題至關重要，其可以使用決策樹（以決策樹形式編碼的政策）生成與ML模型類似的標簽，據此做出最終判定。

步驟6：標簽處理器

標簽處理器用于解釋ML系統和人工審核員生成的標簽，并將其轉換為可供用戶操作的決策。其流程可以相對簡單，僅將系統生成的字符串映射為人類可讀的字符串。

步驟7：分析與報告

Tableau和Power BI等工具均可對審核指標進行跟蹤與可視化，Apache AirFlow則可用于生成見解。需要監控的關鍵指標包括ML系統的準確率和召回率、人工審核時間、吞吐量以及響應時間。

總結

構建和部署由AI驅動的實時審核系統可確保數字平臺的可擴展性與安全性。本指南努力在速度、準確性與人工監督等要素之間尋求平衡，確保內容符合平臺政策與價值主張。

原文標題：A Guide to Deploying AI for Real-Time Content Moderation，作者：Rahul JAIN