?摘要：本文整理自中原銀行數(shù)據(jù)平臺(tái)中心開(kāi)發(fā)工程師陳玉強(qiáng)在 Flink Forward Asia 2021 行業(yè)實(shí)踐專(zhuān)場(chǎng)的演講。主要內(nèi)容包括：

1. 建設(shè)體系
2. 選型 & 架構(gòu)
3. 應(yīng)用場(chǎng)景
4. 建設(shè)成效

01建設(shè)體系

銀行是經(jīng)營(yíng)風(fēng)險(xiǎn)的企業(yè)，對(duì)風(fēng)險(xiǎn)進(jìn)行識(shí)別、衡量、定價(jià)和防范的能力是銀行核心競(jìng)爭(zhēng)力。中原銀行構(gòu)建了面向反欺詐、信用風(fēng)險(xiǎn)、運(yùn)營(yíng)風(fēng)險(xiǎn)的業(yè)務(wù)全流程風(fēng)控體系。

銀行業(yè)務(wù)的申請(qǐng)、交易、營(yíng)銷(xiāo)等環(huán)節(jié)都可能存在欺詐行為，隨著技術(shù)發(fā)展，在欺詐行為團(tuán)伙化、隱蔽化、專(zhuān)業(yè)化、實(shí)時(shí)化情況下進(jìn)行反欺詐難度越來(lái)越大。同時(shí)，隨著業(yè)務(wù)種類(lèi)增多，傳統(tǒng)的專(zhuān)家規(guī)則評(píng)分卡模型難以應(yīng)付復(fù)雜的風(fēng)控場(chǎng)景，需要借助大數(shù)據(jù)、實(shí)時(shí)計(jì)算、機(jī)器學(xué)習(xí)、知識(shí)圖譜等高新技術(shù)打造高質(zhì)量的授信能力。此外，是否能夠及時(shí)發(fā)現(xiàn)和化解業(yè)務(wù)運(yùn)營(yíng)風(fēng)險(xiǎn)，包括流程風(fēng)險(xiǎn)、員工異常行為、資產(chǎn)及負(fù)債流動(dòng)性風(fēng)險(xiǎn)也面臨較大挑戰(zhàn)。

傳統(tǒng)技術(shù)應(yīng)對(duì)這些挑戰(zhàn)時(shí)難以實(shí)時(shí)獲取用戶多渠道的操作行為，難以達(dá)到全方位、實(shí)時(shí)化的防控效果。傳統(tǒng)風(fēng)控體系普遍基于專(zhuān)家規(guī)則進(jìn)行測(cè)算，存在規(guī)則觸發(fā)閾值難以控制、吸收低飽和噪音數(shù)據(jù)難度大等特點(diǎn)，很難通過(guò)累計(jì)規(guī)則數(shù)量來(lái)提升精準(zhǔn)度。此外，傳統(tǒng)系統(tǒng)間相對(duì)孤立、數(shù)據(jù)流通難度大、數(shù)據(jù)孤島的情況導(dǎo)致了專(zhuān)家規(guī)則制定和模型訓(xùn)練難度大，不利于整體風(fēng)控效果。

新的風(fēng)控體系首先實(shí)現(xiàn)了實(shí)時(shí)化，通過(guò)流計(jì)算、內(nèi)存計(jì)算等技術(shù)提高數(shù)據(jù)處理的時(shí)效性，做到了及時(shí)識(shí)別跨系統(tǒng)的風(fēng)險(xiǎn)行為，并通過(guò)云原生、資源彈性等技術(shù)提高系統(tǒng)的高并發(fā)能力。在提升硬實(shí)力的同時(shí)更注重智能化，將基于概率的機(jī)器學(xué)習(xí)模型與專(zhuān)家規(guī)則結(jié)合，充分釋放大數(shù)據(jù)價(jià)值，避免專(zhuān)家規(guī)則經(jīng)驗(yàn)盲區(qū)。此外，通過(guò)打造平臺(tái)化的產(chǎn)品，形成不同場(chǎng)景的快速支撐能力和完善的風(fēng)控體系。

近三年我們經(jīng)歷了對(duì)實(shí)時(shí)計(jì)算的探索、嘗試和平臺(tái)化建設(shè)，并將實(shí)時(shí)計(jì)算技術(shù)應(yīng)用至反欺詐、事件驅(qū)動(dòng)、實(shí)時(shí) OLAP 等多種場(chǎng)景，2021 年底任務(wù)數(shù)量和日均處理數(shù)據(jù)量都提升數(shù)倍。在風(fēng)控方面，經(jīng)歷了從引入國(guó)外決策系統(tǒng)到自研決策平臺(tái)的轉(zhuǎn)變，2021 年自研決策平臺(tái)已經(jīng)開(kāi)始承接新需求和部分國(guó)外決策系統(tǒng)遷移而來(lái)的規(guī)則模型。

智能風(fēng)控體系能力模型可以總結(jié)為：

• 風(fēng)險(xiǎn)特征識(shí)別及計(jì)算實(shí)時(shí)化；
• 融合專(zhuān)家規(guī)則與機(jī)器學(xué)習(xí)模型通過(guò)復(fù)雜編排提供智能化的決策能力；
• 通過(guò)平臺(tái)化屏蔽技術(shù)細(xì)節(jié)，給用戶提供友好的使用體驗(yàn)；
• 在風(fēng)控體系中通過(guò)標(biāo)準(zhǔn)化來(lái)制定規(guī)范、構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)和開(kāi)放數(shù)據(jù)能力；
• 并通過(guò)構(gòu)建 ModelOps 管理體系實(shí)現(xiàn)風(fēng)險(xiǎn)模型從需求到投產(chǎn)的全生命周期管理；
• 此外，通過(guò)低代碼、可視化的方式有助于降低使用門(mén)檻。

02選型 & 架構(gòu)

在本體系架構(gòu)中，F(xiàn)link 主要用于數(shù)據(jù)清洗、實(shí)時(shí)維表加工與關(guān)聯(lián)以及窗口計(jì)算等場(chǎng)景，通過(guò)預(yù)計(jì)算、內(nèi)存計(jì)算、聚合計(jì)算實(shí)現(xiàn)基礎(chǔ)指標(biāo)、衍生指標(biāo)、復(fù)合指標(biāo)的加工，為決策模型提供特征支持。模型編排專(zhuān)注于編排決策集、評(píng)分卡、決策樹(shù)、決策表等豐富和易用規(guī)則模型，同時(shí)在規(guī)則中可以調(diào)用指標(biāo)服務(wù)、算法模型服務(wù)共同參與邏輯運(yùn)算。

風(fēng)控體系基于云原生架構(gòu)和開(kāi)源技術(shù)實(shí)現(xiàn)，支持報(bào)文、接口、多種類(lèi)型數(shù)據(jù)庫(kù)。通過(guò)數(shù)據(jù)源、維表、參數(shù)配置界面化，并支持用戶用 Flink SQL 編寫(xiě)業(yè)務(wù)邏輯，極大程度降低了實(shí)時(shí)計(jì)算的使用門(mén)檻。通過(guò)可視化編排 (DAG) 將規(guī)則/模型/指標(biāo)引擎的計(jì)算能力進(jìn)行組合以支撐風(fēng)控決策。此外還有一些特色功能，如 SQL 評(píng)分、網(wǎng)關(guān)分流等。

實(shí)時(shí)指標(biāo)可以用于專(zhuān)家規(guī)則，實(shí)時(shí)特征可以供在線 (online) 模型訓(xùn)練。機(jī)器學(xué)習(xí)平臺(tái)使用離線 (offline) 數(shù)據(jù)進(jìn)行模型訓(xùn)練和模型推理，同時(shí)結(jié)合規(guī)則篩選出來(lái)的風(fēng)險(xiǎn)數(shù)據(jù)，基于離線數(shù)據(jù)進(jìn)行有監(jiān)督和無(wú)監(jiān)督的算法訓(xùn)練。

03應(yīng)用場(chǎng)景

反欺詐是交易的重要環(huán)節(jié)，通常會(huì)基于黑白名單、知識(shí)圖譜、司法、稅務(wù)、工商等內(nèi)外部數(shù)據(jù)對(duì)交易數(shù)據(jù)打?qū)挘驅(qū)捄蟮臄?shù)據(jù)用于專(zhuān)家規(guī)則和機(jī)器學(xué)習(xí)模型。交易發(fā)起系統(tǒng)會(huì)根據(jù)智策平臺(tái)的決策結(jié)果對(duì)交易放行或加強(qiáng)驗(yàn)證。風(fēng)險(xiǎn)結(jié)果數(shù)據(jù)可作為樣本，用于圖數(shù)據(jù)進(jìn)行關(guān)聯(lián)挖掘或特征分析，或者用于有監(jiān)督學(xué)習(xí)。

技術(shù)實(shí)現(xiàn)方面，針對(duì)交易請(qǐng)求，智策平臺(tái)會(huì)根據(jù) DAG 編排邏輯來(lái)調(diào)用不同的計(jì)算引擎，并返回計(jì)算結(jié)果。同時(shí)，實(shí)時(shí)計(jì)算平臺(tái)會(huì)使用交易系統(tǒng)數(shù)據(jù)庫(kù)的變化數(shù)據(jù)計(jì)算交易/行為等實(shí)時(shí)指標(biāo)。此外，歷史數(shù)據(jù)會(huì)被抽取到離線數(shù)倉(cāng)和數(shù)據(jù)湖中，供下游的機(jī)器學(xué)習(xí)平臺(tái)使用。

對(duì)授信狹義且簡(jiǎn)單的理解就是金融機(jī)構(gòu)向客戶提供資金的行為。智策平臺(tái)通過(guò)評(píng)分卡、決策集等方式承載了貸前階段 50 余個(gè)場(chǎng)景，日均接收授信請(qǐng)求約 3 萬(wàn)筆；對(duì)于以批量數(shù)據(jù)處理為主的貸中、貸后環(huán)節(jié)，日均處理數(shù)據(jù) 1300 萬(wàn)條。

授信場(chǎng)景較交易反欺詐場(chǎng)景在技術(shù)架構(gòu)明顯的差異在于它需要外部數(shù)據(jù)支持。智策平臺(tái)將關(guān)聯(lián)了內(nèi)外部數(shù)據(jù)的交易變量進(jìn)行專(zhuān)家規(guī)則運(yùn)算、機(jī)器學(xué)習(xí)模型推理。授信場(chǎng)景暫時(shí)沒(méi)有使用實(shí)時(shí)指標(biāo)。

員工行為、信貸管理、輿情分析都在運(yùn)營(yíng)風(fēng)險(xiǎn)的范疇內(nèi)，將沖正行為、機(jī)具管理等場(chǎng)景數(shù)據(jù)加工成離線運(yùn)營(yíng)風(fēng)險(xiǎn)指標(biāo)，將高敏感行為數(shù)據(jù)加工為實(shí)時(shí)指標(biāo)，通過(guò)智策平臺(tái)對(duì)兩類(lèi)指標(biāo)進(jìn)行規(guī)則、模型運(yùn)算而得出預(yù)警結(jié)果，進(jìn)而形成風(fēng)險(xiǎn)核查事件、名單等。結(jié)果數(shù)據(jù)也會(huì)作為風(fēng)險(xiǎn)特征樣本來(lái)訓(xùn)練算法和挖掘風(fēng)險(xiǎn)。

運(yùn)營(yíng)風(fēng)險(xiǎn)的技術(shù)架構(gòu)比較直觀，每天將歷史業(yè)務(wù)數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)，在數(shù)倉(cāng)中完成風(fēng)險(xiǎn)指標(biāo)的加工，同時(shí)離線數(shù)據(jù)也會(huì)被用于模型訓(xùn)練。智策平臺(tái)每天定時(shí)對(duì)離線指標(biāo)進(jìn)行規(guī)則運(yùn)算，并將風(fēng)險(xiǎn)預(yù)警結(jié)果推送給下游運(yùn)營(yíng)系統(tǒng)。

04建設(shè)成效

業(yè)務(wù)成效方面，反欺詐系統(tǒng)對(duì)接了 14 個(gè)渠道，105 類(lèi)場(chǎng)景，在傳統(tǒng)反欺詐技術(shù)上引入流計(jì)算實(shí)現(xiàn)實(shí)時(shí)反欺詐，助力管控了 1 萬(wàn)多高危賬戶，協(xié)助阻斷轉(zhuǎn)出資金超千萬(wàn)元，實(shí)現(xiàn)了全年線上交易零欺詐損失。授信方面，支撐了全周期的信貸場(chǎng)景，包括額度評(píng)估、風(fēng)險(xiǎn)定價(jià)、貸后預(yù)警等 50 多個(gè)場(chǎng)景，每天處理進(jìn)件 3 萬(wàn)余筆。每天批量處理運(yùn)營(yíng)指標(biāo)數(shù)據(jù) 30 余萬(wàn)，同時(shí)通過(guò) Flink 每天實(shí)時(shí)處理員工行為數(shù)據(jù)約 3000 萬(wàn)條，具備實(shí)時(shí)發(fā)現(xiàn)內(nèi)部的高風(fēng)險(xiǎn)行為的能力。

技術(shù)成效方面，智策平臺(tái)每天接收業(yè)務(wù)交易請(qǐng)求 5 萬(wàn)余筆，響應(yīng)時(shí)間約 8 毫秒 (最新數(shù)據(jù))。規(guī)則和模型編排場(chǎng)景響應(yīng)時(shí)間小于 3 秒，每天處理批量數(shù)據(jù)約 1800 萬(wàn)條。實(shí)時(shí)計(jì)算平臺(tái)日均處理數(shù)據(jù) 2.7TB，較年初增長(zhǎng)了 5 倍。在平臺(tái)化基礎(chǔ)上，本體系具備靈活編排專(zhuān)家規(guī)則和機(jī)器學(xué)習(xí)模型的能力，每天調(diào)用機(jī)器學(xué)習(xí)模型服務(wù)超過(guò) 2 萬(wàn)次。?