快手大數(shù)據(jù)安全治理實(shí)踐

作者：倪順 2024-04-22 07:56:32

快手的數(shù)據(jù)平臺(tái)旨在提升決策效率和業(yè)績(jī)。該平臺(tái)通過(guò)數(shù)據(jù)中臺(tái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)服務(wù)，包括分析決策、實(shí)驗(yàn)決策、AB 測(cè)試和核心資產(chǎn)服務(wù)等。目前，快手的數(shù)據(jù)量已達(dá)到萬(wàn)億級(jí)，總數(shù)據(jù)量達(dá)到 EB 級(jí)。

快手成立于 2011 年，致力于成為全球最癡迷于為客戶創(chuàng)造價(jià)值的公司。公司在 2022 年 Q4 時(shí)，整體的日活用戶達(dá)到了 3.66 億，月活用戶達(dá)到 6.4 億。為了支撐快手如此大的規(guī)模體量，背后有很多數(shù)據(jù)相關(guān)的建設(shè)。

本次分享聚焦于數(shù)據(jù)安全，將分享快手在大數(shù)據(jù)安全治理方面的實(shí)踐。

一、背景介紹

1. 快手大數(shù)據(jù)安全平臺(tái)定位

作為上市公司，快手對(duì)于數(shù)據(jù)安全非常關(guān)注。快手大數(shù)據(jù)安全平臺(tái)的主要職責(zé)是為大數(shù)據(jù)全鏈路、全生命周期保駕護(hù)航，保障數(shù)據(jù)安全。這里的全鏈路包含幾個(gè)層面：

在數(shù)倉(cāng)建設(shè)階段，數(shù)據(jù)開(kāi)發(fā)人員可利用平臺(tái)提供的開(kāi)發(fā)能力進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)建設(shè)，如基于 ODS 創(chuàng)建數(shù)據(jù)集市和維表。其中數(shù)據(jù)平臺(tái)有完善的數(shù)據(jù)權(quán)限申請(qǐng)管控機(jī)制，防止機(jī)密數(shù)據(jù)泄露。
在數(shù)據(jù)采集階段，數(shù)據(jù)平臺(tái)會(huì)識(shí)別敏感數(shù)據(jù)，進(jìn)行數(shù)據(jù)加密、脫敏等操作，在數(shù)據(jù)入倉(cāng)時(shí)進(jìn)行安全管控。
在數(shù)據(jù)應(yīng)用階段，數(shù)據(jù)平臺(tái)也采取了安全措施，在數(shù)據(jù)服務(wù)或應(yīng)用上對(duì)用戶鑒權(quán)，確保數(shù)據(jù)資產(chǎn)的安全。

2. 快手大數(shù)據(jù)安全面臨的挑戰(zhàn)

在構(gòu)建數(shù)據(jù)平臺(tái)過(guò)程中，面臨多項(xiàng)挑戰(zhàn)：

通用性：系統(tǒng)覆蓋范圍廣泛，涉及 30+ 系統(tǒng)，需具備較強(qiáng)的通用性。
精細(xì)化管控：分為三個(gè)層面，首先是資源精細(xì)化，涵蓋報(bào)表、數(shù)據(jù)集、指標(biāo)、維度庫(kù)表等異構(gòu)資源；第二是操作類型精細(xì)化，包含讀寫(xiě)操作；第三是賬號(hào)精細(xì)化，包含個(gè)人賬號(hào)和多租戶體系賬號(hào)，需做好權(quán)限管控和隔離。
高可用：認(rèn)證和鑒權(quán)處于數(shù)據(jù)服務(wù)核心鏈路，一旦異常影響范圍非常大，因此對(duì)安全要求極高。
擴(kuò)展性：業(yè)務(wù)需求靈活多變，需滿足多種業(yè)務(wù)線的權(quán)限管控要求，對(duì)擴(kuò)展性提出了較高要求。

3. 快手大數(shù)據(jù)安全建設(shè)思路

為了應(yīng)對(duì)數(shù)據(jù)平臺(tái)建設(shè)面臨的挑戰(zhàn)，快手的建設(shè)思路圍繞著幾個(gè)方向展開(kāi)：

首先是組織規(guī)范，快手成立了數(shù)據(jù)委員會(huì)、信息安全委員會(huì)等虛擬組織，制定了數(shù)據(jù)分類分級(jí)規(guī)范、數(shù)據(jù)權(quán)限規(guī)范、數(shù)據(jù)安全隱私打標(biāo)規(guī)范等，還建立了專門(mén)的安全平臺(tái)組，負(fù)責(zé)落地這些規(guī)范。
其次，建設(shè)原則兼顧安全與效率，制定了分級(jí)審批流程，并建立了協(xié)調(diào)機(jī)制。既要保證安全，又要提高效率。
最后，在安全原則方面，遵循相關(guān)法律法規(guī)，并遵循最小權(quán)限原則。

二、平臺(tái)建設(shè)

1. 發(fā)展歷程

大數(shù)據(jù)安全平臺(tái)的發(fā)展歷程可分為四個(gè)階段：

原始階段，數(shù)據(jù)平臺(tái)主要是圍繞報(bào)表平臺(tái)建設(shè)，當(dāng)時(shí)落地了初級(jí)的權(quán)限管理；權(quán)限模型基于 RBAC；安全能力處于 2A 級(jí)，包括鑒權(quán)、申請(qǐng)權(quán)限等，整體相對(duì)原始。
發(fā)展階段，引入了 RPAC 權(quán)限模型，增強(qiáng)了權(quán)限控制，并擴(kuò)展系統(tǒng)覆蓋，涵蓋了引擎類系統(tǒng)（如 Hive）。
精細(xì)化建設(shè)階段，引入了行級(jí)權(quán)限（PRBC），實(shí)現(xiàn)了更精細(xì)的權(quán)限控制；加強(qiáng)租戶數(shù)據(jù)隔離，保障數(shù)據(jù)安全；迭代安全能力，達(dá)到 4A 級(jí)別，完善了認(rèn)證體系以及全鏈路審計(jì)。
數(shù)據(jù)合規(guī)建設(shè)階段，聚焦隱私數(shù)據(jù)保護(hù)，引入加解密脫敏、安全隔離艙等能力，實(shí)現(xiàn)了 5A 級(jí)能力；系統(tǒng)覆蓋擴(kuò)展至 Druid、CK、Kafka、HDFS 等平臺(tái)；持續(xù)推進(jìn)數(shù)據(jù)合規(guī)建設(shè)，保障數(shù)據(jù)安全。

2. 建設(shè)思路

安全平臺(tái)建設(shè)思路圍繞以下三個(gè)方面展開(kāi)：

全域覆蓋，涵蓋存儲(chǔ)引擎、中臺(tái)系統(tǒng)（如生產(chǎn)平臺(tái)、分析平臺(tái)）、分析決策平臺(tái)等系統(tǒng)。
全能力建設(shè)，基于 5A 方法論，構(gòu)建認(rèn)證、授權(quán)、訪問(wèn)控制、資源保護(hù)、審計(jì)等全方位安全能力。
全生命周期管控，事前重點(diǎn)關(guān)注隱私數(shù)據(jù)合規(guī)性，通過(guò)數(shù)據(jù)安全打標(biāo)、隱私數(shù)據(jù)打標(biāo)等措施，加強(qiáng)數(shù)據(jù)加密和權(quán)限控制；事中關(guān)注認(rèn)證鑒權(quán)穩(wěn)定性；事后基于審計(jì)日志，構(gòu)建安全態(tài)勢(shì)感知能力，識(shí)別異常訪問(wèn)行為，制定風(fēng)險(xiǎn)策略，保障數(shù)據(jù)安全。

3. 系統(tǒng)架構(gòu)

系統(tǒng)采用多層架構(gòu)，包括：

應(yīng)用層：面向用戶，提供應(yīng)用服務(wù)。
安全平臺(tái)核心層：包含插件層、接口層、服務(wù)層和存儲(chǔ)層。
依賴層：提供外部依賴，如租戶賬號(hào)體系和資源體系。

核心層包含以下模塊：

插件層：滿足不同引擎的特點(diǎn)，實(shí)現(xiàn)權(quán)限鑒權(quán)。
接口層：提供 HTTP 和 RPC 接口，面向中臺(tái)應(yīng)用和開(kāi)發(fā)平臺(tái)。
服務(wù)層：統(tǒng)一接入資源和賬號(hào)，提供權(quán)限授予和管理服務(wù)。
存儲(chǔ)層：自動(dòng)緩存和加速數(shù)據(jù)，提高訪問(wèn)效率。

為保障系統(tǒng)高可用和高性能，該系統(tǒng)提供了完善的監(jiān)控、告警、降級(jí)、容錯(cuò)預(yù)案、演練限流等保障措施。

4. 關(guān)鍵技術(shù) – 認(rèn)證體系

認(rèn)證體系旨在驗(yàn)證用戶的身份。在設(shè)計(jì)認(rèn)證體系時(shí)，我們面臨以下挑戰(zhàn)：

輕量化：避免對(duì)現(xiàn)有系統(tǒng)造成較大影響。
本地化：與組織體系相結(jié)合。
易演化：滿足未來(lái)國(guó)際化探索等新的業(yè)務(wù)需求。

我們借鑒業(yè)界成熟方案，自研了一套基于三方無(wú)密鑰傳輸?shù)恼J(rèn)證體系。認(rèn)證過(guò)程包含三次網(wǎng)絡(luò)通信：客戶端身份驗(yàn)證、獲取有效期內(nèi)訪問(wèn)令牌、后臺(tái)服務(wù)令牌驗(yàn)證。認(rèn)證體系包含以下關(guān)鍵點(diǎn)：

賬號(hào)體系：包括個(gè)人賬號(hào)和組賬號(hào)。
令牌類型：包括常規(guī)訪問(wèn)令牌、代理訪問(wèn)令牌和降級(jí)令牌。
降級(jí)令牌機(jī)制：確保在密鑰分發(fā)中心異常時(shí)，不影響當(dāng)前訪問(wèn)。

5. 關(guān)鍵技術(shù) – 權(quán)限模型

權(quán)限模型用于控制用戶對(duì)資源的訪問(wèn)權(quán)限。業(yè)界常見(jiàn)的權(quán)限模型包括：

訪問(wèn)控制列表 (ACL)：直接建立用戶和資源之間的關(guān)系，每次訪問(wèn)時(shí)檢查用戶是否有權(quán)限。
基于角色的訪問(wèn)控制 (RBAC)：引入角色的概念，角色與資源綁定，用戶通過(guò)加入角色繼承權(quán)限。
基于策略的訪問(wèn)控制 (PBAC)：引入策略概念，根據(jù)主體的屬性、環(huán)境或客體的屬性綜合判斷訪問(wèn)權(quán)限。
基于屬性的訪問(wèn)控制 (ABAC)：與 PBAC 類似，但更強(qiáng)調(diào)屬性在訪問(wèn)控制中的作用。

快手由于資源復(fù)雜、賬號(hào)體系本地化等特點(diǎn)，結(jié)合 RBAC 和 PBAC 自研了基于策略的角色訪問(wèn)控制 (PRBAC) 模型。PRBAC 模型以策略為核心，涵蓋以下四個(gè)方面：

主體：自定義用戶組、租戶賬號(hào)。
資源：統(tǒng)一標(biāo)識(shí)符 (UIN)，由公司域、資源域和唯一 ID 組成。
動(dòng)作：讀、寫(xiě)等常見(jiàn)動(dòng)作。
條件：行級(jí)權(quán)限的關(guān)鍵所在，根據(jù) SQL 查詢中的 WHERE 條件判斷訪問(wèn)權(quán)限。

6. 關(guān)鍵技術(shù) – 統(tǒng)一鑒權(quán)

鑒權(quán)體系可分為兩類：

應(yīng)用系統(tǒng)類：QPS 較低，延遲容忍度較高，與快手體系結(jié)合良好，可直接集成中間件框架和訪問(wèn)遠(yuǎn)程鑒權(quán)服務(wù)。
大數(shù)據(jù)引擎類：與大數(shù)據(jù)框架結(jié)合較少，基于開(kāi)源引擎改造，提供鑒權(quán)插件，根據(jù)引擎特性選擇本地或遠(yuǎn)程鑒權(quán)模式。

對(duì)于鑒權(quán)核心服務(wù)，包括：

自動(dòng)化刷新器：增量或全量加載數(shù)據(jù)。
本地?cái)?shù)據(jù)緩存：異常后快速恢復(fù)。
鑒權(quán)引擎：權(quán)限模型和策略規(guī)則計(jì)算，從而實(shí)現(xiàn)靈活的鑒權(quán)規(guī)則判斷。

7. 關(guān)鍵技術(shù) – 全鏈路審計(jì)日志

全鏈路審計(jì)旨在追蹤數(shù)據(jù)泄露的源頭，包括生產(chǎn)系統(tǒng)、應(yīng)用系統(tǒng)、Hive 引擎、HDFS Server 等環(huán)節(jié)。審計(jì)基于上游數(shù)據(jù)源，實(shí)時(shí)收集資產(chǎn)操作日志、訪問(wèn)日志和下載日志。審計(jì)日志經(jīng)過(guò)轉(zhuǎn)換處理，例如展開(kāi) Hive 上下文，便于后續(xù)審計(jì)。審計(jì)日志用于清查和策略構(gòu)建，如審批日志策略。全鏈路審計(jì)的特點(diǎn)包括：

全鏈路覆蓋
融合血緣信息
審計(jì)格式統(tǒng)一
支持實(shí)時(shí)風(fēng)險(xiǎn)告警

三、治理實(shí)踐

接下來(lái)將具體介紹快手?jǐn)?shù)據(jù)治理實(shí)踐中的重點(diǎn)問(wèn)題和解決方案。

1. 數(shù)據(jù)分類分級(jí)

首先要介紹的是分類分級(jí)。分類分級(jí)旨在將數(shù)據(jù)按敏感性劃分為不同級(jí)別，優(yōu)先處理高敏感數(shù)據(jù)。

分類：原先融合在一起的數(shù)據(jù)現(xiàn)已區(qū)分開(kāi)，隱私數(shù)據(jù)單獨(dú)列出。通用數(shù)據(jù)和隱私數(shù)據(jù)均按公開(kāi)級(jí)別分級(jí)，通用數(shù)據(jù)分為 C1 至 C4 級(jí)（公開(kāi)級(jí)、內(nèi)部級(jí)、機(jī)密級(jí)、原密級(jí)），隱私數(shù)據(jù)分為 P1 至 P4 級(jí)。
分級(jí)：分級(jí)后，不同敏感級(jí)別的數(shù)據(jù)將采取不同的保護(hù)措施。例如，C4 級(jí)和 P4 級(jí)數(shù)據(jù)將采用更嚴(yán)格的審批流程，涉及部門(mén)負(fù)責(zé)人和二級(jí)部門(mén)負(fù)責(zé)人審批。此外，這些數(shù)據(jù)在存儲(chǔ)時(shí)將采取加密或脫敏等保護(hù)措施。

數(shù)據(jù)分類分級(jí)遵循以下原則：

升級(jí)原則：如果表中存在敏感信息，則整表按最高標(biāo)準(zhǔn)處理。
降級(jí)原則：數(shù)據(jù)脫敏或匿名化后，可降低其敏感級(jí)別。

數(shù)據(jù)分類分級(jí)流程分為三個(gè)階段：

元數(shù)據(jù)采集：通過(guò)元數(shù)據(jù)中臺(tái)自動(dòng)采集外部平臺(tái)的數(shù)據(jù)源、數(shù)據(jù)表變更信息，并存儲(chǔ)至元數(shù)據(jù)中心和圖庫(kù)中。
基于元數(shù)據(jù)，采用以下三種方式進(jìn)行自動(dòng)化識(shí)別，其中，血緣識(shí)別：分析表血緣、任務(wù)血緣等，識(shí)別敏感字段并進(jìn)行打標(biāo)。算法檢測(cè)：使用算法檢測(cè)特定數(shù)據(jù)類型，如銀行卡號(hào)。規(guī)則模板匹配：匹配內(nèi)置的個(gè)人信息識(shí)別規(guī)則模板，如姓名、手機(jī)號(hào)、銀行卡號(hào)等。
數(shù)據(jù)大盤(pán)分析，識(shí)別后，將數(shù)據(jù)推送給用戶進(jìn)行二次確認(rèn)和打標(biāo)。同時(shí)，提供事后資產(chǎn)大盤(pán)，幫助用戶從個(gè)人、組織、部門(mén)等視角審查資產(chǎn)分布情況。

2. 數(shù)據(jù)引擎安全

數(shù)據(jù)引擎安全存在以下問(wèn)題：

內(nèi)部規(guī)范方面：早期缺乏賬號(hào)體系和租戶賬號(hào)體系；資產(chǎn)歸屬不明確，安全責(zé)任不清。
安全能力方面：缺乏身份認(rèn)證信息，缺少安全審計(jì)和溯源能力，權(quán)限管控缺失。
運(yùn)營(yíng)治理方面：無(wú)法定位真實(shí)訪問(wèn)用戶，阻礙推動(dòng)工作；多個(gè)團(tuán)隊(duì)使用多個(gè)平臺(tái)，協(xié)作困難。

針對(duì)數(shù)據(jù)引擎安全問(wèn)題，我們制定了以下解決方案：

規(guī)范方面：落實(shí)賬號(hào)體系和認(rèn)證體系。明確管理角色職責(zé)，包括租戶管理員和安全接口人的審批權(quán)限。
工具方面：引入精細(xì)化權(quán)限管控，如行列級(jí)權(quán)限。優(yōu)化鑒權(quán)模式，根據(jù)引擎層級(jí)進(jìn)行分層認(rèn)證。
治理方面：成立專門(mén)工作組，針對(duì)每個(gè)引擎推進(jìn)治理工作。采用二八原則，重點(diǎn)關(guān)注頭部平臺(tái)。采取靈活的封禁策略，逐步推進(jìn)平臺(tái)改造。

3. 敏感數(shù)據(jù)保護(hù)

敏感數(shù)據(jù)保護(hù)治理面臨以下挑戰(zhàn)：

法律法規(guī)差異：不同國(guó)家對(duì)敏感數(shù)據(jù)的要求不盡相同，需要仔細(xì)研究相關(guān)法律法規(guī)。
集中管控：敏感數(shù)據(jù)應(yīng)與通用數(shù)據(jù)分開(kāi)管理，以便于安全管理和風(fēng)險(xiǎn)預(yù)警。
成本與效率：將敏感數(shù)據(jù)從通用數(shù)據(jù)中分離會(huì)涉及不同鏈路的改造，需要綜合考慮成本和效率。

各改造的成本和效率存在差異，需要綜合考量。改造涉及以下方面：

數(shù)據(jù)入倉(cāng)：加強(qiáng)識(shí)別和自動(dòng)脫敏。
數(shù)據(jù)加工：注重敏感數(shù)據(jù)審批。

在敏感數(shù)據(jù)保護(hù)解決方案中，為解決敏感數(shù)據(jù)保護(hù)挑戰(zhàn)，我們重點(diǎn)引入了安全隔離倉(cāng)的概念：

安全隔離倉(cāng)：虛擬概念，用于隔離包含敏感信息的外部數(shù)據(jù)源。
加密和隔離：識(shí)別包含敏感信息的外部數(shù)據(jù)源后，自動(dòng)加密并將其放置在安全隔離倉(cāng)中。

此外，我們還采取了以下措施：

規(guī)范建設(shè)：研究不同國(guó)家法律法規(guī)，定義敏感信息類型、脫敏方式和要求。
工具建設(shè)：開(kāi)發(fā)數(shù)據(jù)識(shí)別、文件字段加密和脫敏工具。
數(shù)據(jù)保護(hù)措施：實(shí)施字段級(jí)權(quán)限管控、嚴(yán)格審批流程等數(shù)據(jù)保護(hù)措施。
增量處理：定期掃描識(shí)別新出現(xiàn)的敏感信息，推動(dòng)用戶治理和落地。

通過(guò)上述措施，我們建立了全面的敏感數(shù)據(jù)保護(hù)體系，確保敏感數(shù)據(jù)得到有效保護(hù)。

四、成果和規(guī)劃

1. 成果總結(jié)

自建設(shè)以來(lái)，快手大數(shù)據(jù)安全體系已在 30 余個(gè)系統(tǒng)中落地實(shí)施，資源規(guī)模達(dá)到千萬(wàn)級(jí)，日均申請(qǐng)量達(dá)到千級(jí)，覆蓋了 C2 至 C4 及 P4 等審批流。應(yīng)用范圍涵蓋多個(gè)層面，包括 Web 系統(tǒng)、認(rèn)證鑒權(quán)等服務(wù)。整體運(yùn)行穩(wěn)定，未出現(xiàn)重大故障。有效保障了數(shù)據(jù)安全，提升了數(shù)據(jù)治理水平。

2. 未來(lái)規(guī)劃

未來(lái)規(guī)劃主要包括以下幾個(gè)方面：

覆蓋度提升：推動(dòng)底層引擎使用方 100% 接入認(rèn)證和鑒權(quán)；完善 HDFS 上層使用方的認(rèn)證和鑒權(quán)接入。
態(tài)勢(shì)感知增強(qiáng)：分析數(shù)據(jù)資產(chǎn)分布和敏感數(shù)據(jù)訪問(wèn)行為；檢測(cè)數(shù)據(jù)異常行為。
新技術(shù)探索：探索增強(qiáng)型數(shù)據(jù)保護(hù)技術(shù)，如增強(qiáng)隱私數(shù)據(jù)保護(hù)、多方安全檢測(cè)等；研究 data fabric 等新思路，實(shí)現(xiàn)數(shù)據(jù)可用但不可見(jiàn)。
智能化提升：利用大模型和機(jī)器學(xué)習(xí)算法提升數(shù)據(jù)分類分級(jí)和敏感數(shù)據(jù)識(shí)別準(zhǔn)確性；探索智能化數(shù)據(jù)治理手段。

通過(guò)以上工作，保障敏感數(shù)據(jù)的保護(hù)，為企業(yè)數(shù)據(jù)安全保駕護(hù)航。

五、問(wèn)答環(huán)節(jié)

Q1：關(guān)于令牌化數(shù)據(jù)入湖處理：如何處理已令牌化的實(shí)時(shí)數(shù)據(jù)庫(kù)數(shù)據(jù)入湖？

A1：入湖時(shí)，識(shí)別令牌化數(shù)據(jù)的敏感性。如果數(shù)據(jù)僅用于建模，則無(wú)需額外處理。否則，根據(jù)數(shù)據(jù)脫敏規(guī)范進(jìn)行脫敏處理，確保數(shù)據(jù)安全。

Q2：關(guān)于跨部門(mén)數(shù)據(jù)權(quán)限申請(qǐng)：快手如何劃分?jǐn)?shù)據(jù)權(quán)責(zé)歸屬？

A2：權(quán)限申請(qǐng)分為不同級(jí)別：

普通數(shù)據(jù)：權(quán)限負(fù)責(zé)人審批。
重要數(shù)據(jù)（如 C4）：權(quán)限負(fù)責(zé)人、二級(jí)部門(mén)負(fù)責(zé)人審批。
非常重要數(shù)據(jù)：權(quán)限負(fù)責(zé)人、二級(jí)部門(mén)負(fù)責(zé)人、一級(jí)部門(mén)負(fù)責(zé)人審批。

申請(qǐng)方式包括個(gè)人名義和組名義，權(quán)限有效期過(guò)后可續(xù)簽或升級(jí)。