1. 背景

火山引擎對于用戶敏感數(shù)據(jù)尤為重視，在火山引擎提供的數(shù)據(jù)分析產(chǎn)品中，廣泛采用差分隱私技術(shù)對用戶敏感信息進(jìn)行保護(hù)。此類數(shù)據(jù)產(chǎn)品通常構(gòu)建于 ClickHouse 等數(shù)據(jù)引擎之上，以 SQL 查詢方式來執(zhí)行計算邏輯，且查詢邏輯往往較為復(fù)雜，因此對差分隱私的應(yīng)用提出了以下要求：

• 零改造、零感知：最大程度避免影響業(yè)務(wù)現(xiàn)有查詢方式，最好做到業(yè)務(wù)零感知、零改造；
• 良好、靈活的適配性：能夠適配不同數(shù)據(jù)引擎的查詢語法，以及能夠處理包含多層嵌套、多重計算、多表連接等情形的復(fù)雜 SQL 語句；
• 安全性與可用性平衡：能夠根據(jù)業(yè)務(wù)數(shù)據(jù)質(zhì)量要求，計算合理的隱私預(yù)算，在安全性和數(shù)據(jù)可用性之間保持平衡；

針對以上需求，火山引擎安全研究團(tuán)隊開發(fā)了 Jeddak-DPSQL：一種基于差分隱私的 SQL 代理工具。Jeddak-DPSQL 能夠兼容多種數(shù)據(jù)引擎和SQL方言，內(nèi)嵌多種差分噪聲擾動算法，具備隱私預(yù)算管理能力，并且能夠與底層數(shù)據(jù)引擎結(jié)合，在數(shù)據(jù)分析師無感的情況下，對 SQL 語句進(jìn)行自動化分析和結(jié)果加噪處理。作為數(shù)據(jù)安全和隱私合規(guī)治理的標(biāo)準(zhǔn)能力之一，Jeddak-DPSQL 已經(jīng)在抖音集團(tuán)相關(guān)業(yè)務(wù)中得到了普遍應(yīng)用與驗(yàn)證。

在實(shí)際解決公司內(nèi)部面臨的問題風(fēng)險后，我們決定對 Jeddak-DPSQL 進(jìn)行開源，希望能夠?yàn)橥瑯用媾R該類問題的企業(yè)和個人提供一定參考和幫助，同時也希望能夠有更多的外部開發(fā)者能夠一起對該開源項目進(jìn)行共建，完善 Jeddak-DPSQL 產(chǎn)品功能，共同構(gòu)建更完備的應(yīng)用生態(tài)。

2. 全面了解 Jeddak-DPSQL

2.1 Jeddak-DPSQL 介紹

Jeddak-DPSQL 采用中心化差分隱私 （Centralized Differential Privacy，簡稱 CDP，適用于數(shù)據(jù)管理者可信的場景） 模式，以中間件的形式接收 SQL 統(tǒng)計查詢請求，返回滿足差分隱私的查詢結(jié)果。一個典型的查詢請求處理流程如下：

• 首先，核心服務(wù)接受客戶提交的 SQL 查詢語句，對該語句進(jìn)行解析和重寫，以便于計算隱私噪聲(如將 AVG 計算改為 SUM/COUNT）；
• 然后，核心服務(wù)調(diào)用元數(shù)據(jù)管理服務(wù)，計算重寫后的 SQL 查詢所對應(yīng)的數(shù)據(jù)表敏感度，同時在數(shù)據(jù)庫上執(zhí)行重寫后的 SQL 查詢，得到原始的查詢結(jié)果；
• 最后，核心服務(wù)調(diào)用隱私預(yù)算管理服務(wù)得到為該查詢分配的隱私預(yù)算，并結(jié)合敏感度在原始的查詢結(jié)果中添加噪聲并返回。

2.2 Jeddak-DPSQL 解決的問題

案例背景

假設(shè)有一個數(shù)據(jù)庫 business，存儲用戶消費(fèi)數(shù)據(jù)，使用 clickhouse 引擎，其中一個表 user 存儲用戶信息，表中存在以下列：uid，name，age，sex，city，代表用戶id、姓名、年齡、性別、城市。

查詢需求

我們要查詢用戶數(shù)量和平均年齡的城市分布，使用 SQL 語句 1：

SELECT  COUNT(*) AS cnt，AVG(age) as agev, city
FROM business.user
group by city

風(fēng)險

如果不應(yīng)用隱私保護(hù)技術(shù)，可能面臨差分攻擊的風(fēng)險，比如攻擊者通過某渠道得知張三的 uid 為 803719，構(gòu)造下面的 SQL 語句 2：

SELECT  COUNT(*) AS cnt，AVG(age) as agev, city
FROM business.user
WHERE uid != 803719
group by city

通過執(zhí)行上面的 SQL 語句1和 SQL 語句2，可分別得到兩個查詢結(jié)果：

那么就可以通過比較兩次查詢結(jié)果得知張三所在的城市是北京，年齡大約 61 歲（120008x49.3276 = 5919706.62，120007x49.3275 = 5919645.29，5919706.62 - 5919645.29 約等于 61）

以上是一個簡單的例子，現(xiàn)實(shí)場景中，攻擊者可能通過背景知識構(gòu)造更多樣、更復(fù)雜的查詢語句達(dá)到竊取隱私的目的。

因此，在上述 SQL 查詢場景下，可以通過接入 Jeddak-DPSQL 對 SQL 進(jìn)行分析和重寫，最終執(zhí)行重寫后的 SQL 能夠保證返回給使用者的數(shù)據(jù)滿足差分隱私要求，進(jìn)而達(dá)到對個人隱私保護(hù)的效果。

2.3 Jeddak-DPSQL 在火山引擎的應(yīng)用驗(yàn)證

1. Jeddak-DPSQL已接入火山引擎的增長分析（finder)、A/B 測試等產(chǎn)品，間接服務(wù)300+外部客戶，日均處理查詢請求 200+。Jeddak-DPSQL服務(wù)不僅幫助業(yè)務(wù)滿足了隱私保護(hù)和業(yè)務(wù)合規(guī)的需求，同時也成為創(chuàng)新型隱私計算技術(shù)應(yīng)用的典范案例。
2. 開放隱私計算 OpenMPC 對外公布了“隱私計算 2021 年度優(yōu)秀應(yīng)用案例 TOP 10”。火山引擎 云安全憑借“融合 差分隱私 的火山引擎 DPSQL 服務(wù)”案例，成功入選 TOP 10。

3. 如何使用 Jeddak-DPSQL

git 開源項目地址： https://github.com/bytedance/Jeddak-DPSQL

3.1 下載

git clone https://github.com/bytedance/Jeddak-DPSQL

3.2 快速部署

完成 Jeddak-DPSQL 下載后，按照 README 中的部署引導(dǎo)部分完成服務(wù)部署，整個部署過程包括以下步驟：

• 服務(wù)依賴包安裝：進(jìn)入項目根目錄，使用 pip install -r requirements.txt 安裝服務(wù)所需完整 pip 包
• MetaData 存儲準(zhǔn)備：在使用DPSQL 時，需要維護(hù)源數(shù)據(jù)表的 MetaData 信息，為后續(xù)加噪計算敏感度作準(zhǔn)備。Jeddak-DPSQL 使用 Mysql 對相應(yīng)元數(shù)據(jù)信息進(jìn)行存儲，因此需要用戶提前在自己的Mysql數(shù)據(jù)庫中創(chuàng)建相應(yīng)的表
• 隱私預(yù)算消耗存儲準(zhǔn)備：使用 Jeddak-DPSQL 系統(tǒng)過程，可以記錄對表級別的數(shù)據(jù)查詢時的隱私預(yù)算消耗。主要通過Mysql進(jìn)行記錄，因此需要用戶提前在自己的Mysql數(shù)據(jù)庫中創(chuàng)建相應(yīng)的表
• 數(shù)據(jù)庫連接配置：Jeddak-DPSQL 中使用數(shù)據(jù)庫主要有 Mysql 和 Redis，因此需要對這兩個數(shù)據(jù)庫連接地址進(jìn)行配置
• 服務(wù)啟動：完成上述配置后可以在項目根目錄運(yùn)行 bootstrap.sh 腳本啟動服務(wù)

3.3 正式使用

完成 Jeddak-DPSQL 部署后，按照 README 中的快速開始部分可以進(jìn)行功能體驗(yàn)，整個過程如下：

• 選擇要測試的數(shù)據(jù)源(Hive 或 ClickHouse)，導(dǎo)入要進(jìn)行查詢測試的原始數(shù)據(jù)集
• 初始化metadata和隱私預(yù)算

    1. 生成 metadata

   2. 啟動dpsql服務(wù)后， 調(diào)用接口 /api/v1/metadata/generate，生成metadata，可參考：

def meta_generate():
  args = {
      "db_config": {
          "host": <hive_host>,
          "database": <hive_dbname>,
          "username": <hive_username>,
          "password": <hive_password>
      },
      "table_name": "us_accidents_dec21_updated",
      "db_type": db_type
  }
  route_path = "/api/v1/metadata/generate"# local service,  host:127.0.0.1, port:5000url = "http://%s:%s/%s" % (host, port, route_path)
  headers = {"content-type": "application/json"}
  r = requests.post(url, jsnotallow=args, headers=headers)

if __name__ == '__main__':
   meta_generate()

3. 3. 確認(rèn)metadata 生成完成

4. 4. 調(diào)用 /api/v1/metadata/get 接口，確認(rèn) metadata 生成完成

def meta_get():
    args = {
        "prefix": <hive_host>,
        "db_name": <hive_dbname>,
        "table_name": "us_accidents_dec21_updated"
    }
    route_path = "/api/v1/metadata/get"# local service,  host:127.0.0.1, port:5000url = "http://%s:%s/%s" % (host, port, route_path)
    headers = {"content-type": "application/json"}
    r =  requests.get(url, jsnotallow=args, headers=headers)
    print(r.text)

•  調(diào)用隱私保護(hù)查詢接口，獲得經(jīng)過差分隱私保護(hù)的查詢結(jié)果

def query_sql_noise(sql, data_source):
      key = {
          "sql": sql,
          "dbconfig": {
              "reader": data_source,
              "host": <hive_host>,
              "database": <hive_dbname>,
              "port": <hive_port>
          },
          "queryconfig": {
             "traceid": "traceid",
          }
      }
      route_path = "/api/v1/query"url = "http://%s:%s/%s" % (host, port, route_path)
      headers = {"content-type": "application/json"}
      r = requests.post(url, jsnotallow=key, headers=headers)
      return res
if __name__ == "__main__":
      sql = "select count(severityc) from menu_page group by severity"
      section = "hivereader"
      res = query_sql_noise(sql, section)
      print(res)

更多接口使用方式可以參考項目 README 中的 API Documentation 部分

4. 后續(xù)計劃

由于當(dāng)前是 Jeddak-DPSQL 的首個開源版本，因此還存在很多不完善的地方，希望大家能夠多多諒解。Jeddak-DPSQL 計劃進(jìn)行長期維護(hù)，歡迎大家使用，也希望有更多的外部開發(fā)者能夠一起對該開源項目進(jìn)行共建，完善產(chǎn)品功能，構(gòu)建更完備的應(yīng)用生態(tài)。

5. 關(guān)于安全研究

火山引擎安全研究部門的愿景是創(chuàng)新突破前沿安全理論技術(shù)，賦能數(shù)字經(jīng)濟(jì)。部門當(dāng)前以數(shù)據(jù)安全中心私有化單品-可信隱私計算產(chǎn)品 Jeddak 為載體，從可信計算、聯(lián)邦學(xué)習(xí)、多方安全計算、差分隱私、密文計算、共識計算等方向著手，開展隱私計算技術(shù)的前沿研究和應(yīng)用探索。基于這些領(lǐng)域最新前沿理論技術(shù)，創(chuàng)新研發(fā)、突破瓶頸，實(shí)現(xiàn)數(shù)據(jù)全生命周期安全與隱私保護(hù)，以及可信隱私計算等應(yīng)用服務(wù)落地：賦能業(yè)務(wù)、保駕護(hù)航；更進(jìn)一步打破數(shù)據(jù)孤島，推動數(shù)據(jù)多源融合與流通交易，發(fā)揮數(shù)據(jù)價值。