成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

張陳丞:第四范式智能風(fēng)控中臺(tái)架構(gòu)設(shè)計(jì)及應(yīng)用

開(kāi)發(fā) 架構(gòu) 人工智能
風(fēng)控是金融最常見(jiàn)的場(chǎng)景之一,本文將從業(yè)務(wù)和技術(shù)架構(gòu)兩個(gè)層面和大家探討如何落地智能風(fēng)控中臺(tái)系統(tǒng)。

分享主要圍繞下面五點(diǎn)展開(kāi):

  • 風(fēng)控中臺(tái)的設(shè)計(jì)背景
  • 策略的全周期管理
  • 模型的全周期管理
  • 業(yè)務(wù)架構(gòu)和能力原子化
  • 應(yīng)用案例

01風(fēng)控中臺(tái)的設(shè)計(jì)背景

首先大風(fēng)控體系或者風(fēng)控中臺(tái)的建設(shè)在本質(zhì)上是服務(wù)于業(yè)務(wù)的,所以我們需要構(gòu)建一個(gè)以業(yè)務(wù)為核心的風(fēng)控中臺(tái)體系。

以業(yè)務(wù)為核心的大風(fēng)控體系應(yīng)包含以下六個(gè)特點(diǎn):

  • 實(shí)時(shí)化:通過(guò)實(shí)時(shí)的分析、預(yù)測(cè),不斷迭代風(fēng)控能力,進(jìn)而做到對(duì)風(fēng)險(xiǎn)的實(shí)時(shí)防控。
  • 精細(xì)化:指在風(fēng)控業(yè)務(wù)線上,針對(duì)從頭到尾的每個(gè)環(huán)節(jié)做到精細(xì)化的管理。
  • 聯(lián)防聯(lián)控:由于對(duì)客戶做多視角風(fēng)險(xiǎn)防控,需要相對(duì)精細(xì)化,聯(lián)防聯(lián)控是從橫向擴(kuò)展來(lái)看風(fēng)險(xiǎn)防控。通常風(fēng)控中臺(tái)會(huì)是集團(tuán)化的業(yè)務(wù),會(huì)涉及多條業(yè)務(wù)線的整體使用,因此打通數(shù)據(jù)和信息做到平臺(tái)級(jí)的最大化的防控,也是非常重要的。
  • 敏捷化:在欺詐或者風(fēng)控場(chǎng)景中,通常需要我們快速反應(yīng),一個(gè)小時(shí)或者幾分鐘都會(huì)有較大影響,希望通過(guò)敏捷化能做到風(fēng)控的快速反應(yīng)。
  • 智能化:傳統(tǒng)的風(fēng)控引擎一般是結(jié)合專(zhuān)家規(guī)則來(lái)實(shí)施。將專(zhuān)家規(guī)則結(jié)合AI算法去做整體預(yù)測(cè)是行業(yè)未來(lái)的趨勢(shì)。
  • 統(tǒng)一擴(kuò)展:分為兩個(gè)層面——對(duì)業(yè)務(wù)能力而言,要做到原子化;對(duì)IT系統(tǒng)或者整個(gè)中臺(tái)系統(tǒng)而言,要做統(tǒng)一化的建設(shè)。

基于上述趨勢(shì),我們構(gòu)建了完整的風(fēng)控體系,兩句話總結(jié)一下:一個(gè)叫做五全雙核,一個(gè)叫數(shù)融優(yōu)智。

五全指的是覆蓋面。在建設(shè)全景風(fēng)控中臺(tái)時(shí)需要考慮不同子公司不同業(yè)務(wù)線的全覆蓋,譬如普惠金融、信用卡業(yè)務(wù)等;針對(duì)集團(tuán)各子公司,要考慮全部客戶服務(wù)的全覆蓋;對(duì)于大型集團(tuán)需要考慮不同場(chǎng)景的全覆蓋;在渠道角度也需要考慮諸如柜臺(tái)、手機(jī)銀行,網(wǎng)銀、微信銀行等渠道的全覆蓋;最后從流程上需要就事前、事中、事后的流程全覆蓋。

雙核是指規(guī)則引擎和AI算法引擎融合的決策流的構(gòu)建。此外,我們需要在應(yīng)用架構(gòu)層面做原子化和模塊化來(lái)支持雙核。最后要處理最關(guān)鍵的數(shù)據(jù),數(shù)據(jù)部分主要是構(gòu)建客戶畫(huà)像和風(fēng)險(xiǎn)畫(huà)像兩部分。用戶畫(huà)像部分需要整合所有渠道來(lái)構(gòu)建全面畫(huà)像;風(fēng)險(xiǎn)畫(huà)像部分,則需把所有業(yè)務(wù)風(fēng)險(xiǎn)數(shù)據(jù)做融合。

通過(guò)建設(shè)完整的風(fēng)控體系帶來(lái)的核心價(jià)值是提升風(fēng)險(xiǎn)決策水平。其中一方面是建立閉環(huán)的風(fēng)控策略體系,另一方面是決策引擎和AI算法的結(jié)合。接下來(lái)會(huì)做詳細(xì)的分享。

02策略的全周期管控

首先,是人機(jī)協(xié)同的概念。它表達(dá)的是專(zhuān)家規(guī)則和AI算法相結(jié)合的思想。在傳統(tǒng)決策引擎,一般最先上的是規(guī)則。因?yàn)橐?guī)則有以下好處:

  • 簡(jiǎn)單的規(guī)則就能直觀過(guò)濾掉頭部風(fēng)險(xiǎn),譬如過(guò)濾高風(fēng)險(xiǎn)區(qū)域的主體;
  • 規(guī)則可解釋性強(qiáng),譬如格子衫和雙肩包是程序員;
  • 規(guī)則更易于做有區(qū)分度的統(tǒng)計(jì)信息,譬如使用簡(jiǎn)單規(guī)則就能覆蓋百分之五六十的問(wèn)題。

但只有規(guī)則覆蓋是不夠的,這時(shí)候就需要使用AI模型。因?yàn)閺奶卣骼寐蕘?lái)看,規(guī)則的利用特征少。因此,模型可以通過(guò)大量的特征深挖到長(zhǎng)尾的風(fēng)險(xiǎn)用戶。另外,模型可以基于大數(shù)據(jù)做挖掘,數(shù)據(jù)源相對(duì)更多。

在整個(gè)風(fēng)控體系里,人工和機(jī)器學(xué)習(xí)分別適用不同的場(chǎng)景。譬如以下適合專(zhuān)家人工規(guī)則:

  • 業(yè)務(wù)線冷啟動(dòng)時(shí)候,需要依賴(lài)專(zhuān)家經(jīng)驗(yàn);
  • 諸如決策審批這類(lèi)制度相關(guān),更適合人工規(guī)則。

規(guī)則之外,以下則更適合機(jī)器學(xué)習(xí),譬如:

  • 需要對(duì)規(guī)則設(shè)定推薦閾值,譬如大于多少金額為風(fēng)險(xiǎn),可用機(jī)器學(xué)習(xí);
  • 需要對(duì)規(guī)則組合做推薦時(shí),譬如A加B或者B加C如何做規(guī)則組合,也可以通過(guò)機(jī)器學(xué)習(xí)來(lái)做;
  • 其他,諸如規(guī)則之上機(jī)器學(xué)習(xí)還能做的工作,以及機(jī)器學(xué)習(xí)自身具有圖算法的能力,都可以加以利用。

從閉環(huán)來(lái)講的話,策略的閉環(huán)和機(jī)器學(xué)習(xí)的閉環(huán)很像。策略流程是制定策略,測(cè)試、上線,以及監(jiān)控優(yōu)化,最后再把優(yōu)化過(guò)的策略進(jìn)行測(cè)試上線的一個(gè)閉環(huán)。機(jī)器學(xué)習(xí)則首先是產(chǎn)生一個(gè)行為,然后會(huì)對(duì)行為有反饋,基于這些行為數(shù)據(jù)和反饋數(shù)據(jù)進(jìn)行模型的學(xué)習(xí),模型學(xué)習(xí)之后運(yùn)用到線上去。由此可以看出這兩個(gè)圈是非常相似的。

接著來(lái)看下策略的管理體系。(1)在策略配置上,會(huì)做規(guī)則評(píng)分卡或者決策表、決策流,并支持鼠標(biāo)點(diǎn)選的可視化和代碼開(kāi)發(fā)聯(lián)合的方式進(jìn)行配置;(2)在策略版本管理上,對(duì)策略做版本區(qū)分;(3)策略測(cè)試階段,會(huì)經(jīng)過(guò)一系列的ABTest來(lái)做發(fā)布;(4)測(cè)試發(fā)布之后會(huì)進(jìn)行整體的一個(gè)策略的效果監(jiān)控。

首先,策略的基石是指標(biāo)的計(jì)算,基于指標(biāo)可以做一些規(guī)則,在這之上再做風(fēng)控獨(dú)有的評(píng)分卡和決策表等等。機(jī)器學(xué)習(xí)的模型,也能從指標(biāo)或者特征計(jì)算上受益。定義完策略組件后即可上線決策流。

從指標(biāo)定義看,系統(tǒng)內(nèi)置了部分指標(biāo)加工函數(shù),諸如均值、大小,或者通過(guò)身份證取年齡、性別或者前多少位,或者一段時(shí)間的消費(fèi)金額共計(jì)多少等等計(jì)算。

此外,我們還定義了一套DSL來(lái)去實(shí)現(xiàn)。其中一部分是內(nèi)建函數(shù),另一部分,則在內(nèi)置函數(shù)無(wú)法滿足時(shí),支持從外部加載插件的方法來(lái)熱加載到線上。另一種更直觀的方式,是通過(guò)已定義的DSL來(lái)定義沒(méi)有內(nèi)置的函數(shù)上線。如上圖這個(gè)例子,我們先定義了步長(zhǎng)列表,然后通過(guò)一個(gè)函數(shù)做列表處理,圖中展示了我們是如何遍歷表達(dá)式語(yǔ)法樹(shù)的(目前來(lái)講我們單個(gè)的表達(dá)式還是通過(guò)串行計(jì)算,后面我們可以通過(guò)并行來(lái)進(jìn)一步優(yōu)化提高執(zhí)行速度。)

在上面提及的指標(biāo)定義是通過(guò)DSL實(shí)現(xiàn),那么在定義指標(biāo)后,我們做指標(biāo)閾值設(shè)定或者指標(biāo)組合。這里可以使用可視化的操作。如圖我們定義了比較復(fù)雜的與(AND)和或(OR)關(guān)系來(lái)將指標(biāo)組合成一個(gè)規(guī)則,并在規(guī)則上面進(jìn)一步的組合,變成規(guī)則包來(lái)進(jìn)行使用。評(píng)分卡的設(shè)置也有友好的可視化操作。在做完DSL定義和策略制定后,可以將策略組合的方式形成決策流。

在整個(gè)決策流中會(huì)區(qū)分不同的類(lèi)型節(jié)點(diǎn)。最開(kāi)始是輸入節(jié)點(diǎn),然后會(huì)有轉(zhuǎn)換節(jié)點(diǎn)對(duì)變量做簡(jiǎn)單轉(zhuǎn)換,再到規(guī)則節(jié)點(diǎn),以及也可以應(yīng)用機(jī)器學(xué)習(xí)模型的節(jié)點(diǎn),后面是決策表、分流等定義完后由終止節(jié)點(diǎn)輸出最終結(jié)果。

策略定義后用于保證策略符合預(yù)期的策略測(cè)試。其中包含接口的單筆測(cè)試、批量集成測(cè)試(可使用批量歷史數(shù)據(jù)回測(cè))、冠軍挑戰(zhàn)者(用歷史數(shù)據(jù)挑戰(zhàn)線上規(guī)則,看能否比得過(guò))、線上沙盒測(cè)試,最后會(huì)得到一份對(duì)上線策略和線上策略全方位評(píng)估的測(cè)試報(bào)告,來(lái)供人工判斷是否適合上線。

在上線階段需要一個(gè)灰度發(fā)布的過(guò)程。這個(gè)過(guò)程會(huì)通過(guò)隨機(jī)調(diào)流量,按照條件規(guī)則執(zhí)行灰度發(fā)布,測(cè)完整個(gè)策略后提供便捷化策略打包服務(wù)來(lái)一鍵導(dǎo)入生產(chǎn)環(huán)境。最后是流量的ABTest,這里我們支持并行多組的分流ABTest,并可以作對(duì)比分析。

最后,是策略效果的監(jiān)控。其中包含業(yè)務(wù)監(jiān)控(譬如通過(guò)風(fēng)險(xiǎn)地圖做放款量等)、也有統(tǒng)計(jì)報(bào)表(譬如命中率、攔截率等統(tǒng)計(jì))、并對(duì)策略細(xì)分指標(biāo)和規(guī)則看是否有異常情況、最后做異常標(biāo)記,并由人工確認(rèn)是否是欺詐案件。標(biāo)記結(jié)果也會(huì)用于后期機(jī)器學(xué)習(xí)算法的迭代優(yōu)化中。

以上就是策略的全生命周期管理。

03模型的全周期管控

以下我們看下建模的全周期管理。

從建模角度來(lái)看分為數(shù)據(jù)引入,拆分訓(xùn)練集驗(yàn)證集測(cè)試集,然后進(jìn)行特征工程,以及算法選擇,超參搜索,到最后的評(píng)估報(bào)告。不過(guò)有時(shí)候我們很難把產(chǎn)品策略部署到客戶側(cè)并且根據(jù)客戶數(shù)據(jù)進(jìn)行定制化建模,所以這里我們用到了AutoML。

在AutoML中涉及自動(dòng)數(shù)據(jù)拼表(把多張客戶數(shù)據(jù)表處理成大寬表)、自動(dòng)特征工程、自動(dòng)算法選擇、自動(dòng)調(diào)參,以及最后給出評(píng)估報(bào)告的一整套建模流程。另外,在建模完成后,針對(duì)效果隨著時(shí)間遷移會(huì)衰退而需要更新迭代的情況,我們提供全量自學(xué)習(xí)和增量在線學(xué)習(xí)兩種方式來(lái)做優(yōu)化和糾偏。

先從業(yè)務(wù)角度定義諸如反欺詐等業(yè)務(wù)問(wèn)題,然后由數(shù)據(jù)科學(xué)家或者IT做數(shù)據(jù)采集,再交由算法科學(xué)家做特征工程,接著模型訓(xùn)練和評(píng)估。整套流程是需要反復(fù)地選擇數(shù)據(jù)、特征和模型,上線階段還涉及算法和工程問(wèn)題,比較耗時(shí)耗力。而AutoML可以幫助覆蓋掉流程中的數(shù)據(jù)采集、特征工程、模型訓(xùn)練和模型評(píng)估的大部分工作。

特征工程如何實(shí)現(xiàn)自動(dòng)挖掘?基于多表時(shí)空的特征挖掘算法分為三步:

  • 第一步是自動(dòng)多表拼接。針對(duì)一對(duì)一的表可以直接拼接;對(duì)于一對(duì)多的表,可對(duì)副表搜索最近一條拼接或者按配置進(jìn)行搜索拼接。
  • 第二步是自動(dòng)特征工程。特征生成包含最原始的特征,做一階運(yùn)算變換,或者對(duì)時(shí)序特征判斷是否為周末等,以及離散特征統(tǒng)計(jì)窗口內(nèi)特征出現(xiàn)次數(shù)等。譬如交易流水表,可以通過(guò)用戶的交易時(shí)間分組排序,然后做聚合生成單月的交易次數(shù)或交易金額等衍生特征;也可對(duì)諸如性別和學(xué)歷的離散特征做組合拼接等。
  • 第三步就是特征選擇。把時(shí)序聚合特征作為候選特征,然后去根據(jù)驗(yàn)證計(jì)算的AUC從候選的特征里選擇TopK的特征。

04業(yè)務(wù)架構(gòu)和能力原子化

從業(yè)務(wù)架構(gòu)上看也可以分為三個(gè)部分:數(shù)據(jù)層、平臺(tái)層和應(yīng)用層。

  • 數(shù)據(jù)層,可以將行內(nèi)交易還款數(shù)據(jù)和諸如人行征信的行外數(shù)據(jù)做融合。存儲(chǔ)相關(guān)則需要不同的數(shù)據(jù)庫(kù),譬如內(nèi)存時(shí)序數(shù)據(jù)庫(kù)、關(guān)系型數(shù)據(jù)庫(kù)、圖數(shù)據(jù)庫(kù),以及HDFS等分布式存儲(chǔ)數(shù)據(jù);
  • 平臺(tái)層,其中包含管理指標(biāo)計(jì)算加工的指標(biāo)中心、管理決策流的決策服務(wù)中心、以及下面的策略中心和模型中心。其中策略中心用來(lái)完成策略組裝、版本的管理等。模型中心主要是AutoML的特征選擇、調(diào)參等模型相關(guān)的工作。此外,還有一塊是圖計(jì)算中心,用于在關(guān)聯(lián)圖譜上通過(guò)圖計(jì)算來(lái)輔助線上業(yè)務(wù)。
  • 應(yīng)用層,主要是通過(guò)上述組件來(lái)支持交易反欺詐等不同的業(yè)務(wù)模塊。

在業(yè)務(wù)能力原子化這塊,按照技術(shù)組件的角度也可以分為三層,基礎(chǔ)設(shè)施層、服務(wù)層和業(yè)務(wù)模塊層。

  • 最下面是基礎(chǔ)設(shè)施層。其中比較重要的是數(shù)據(jù)存儲(chǔ)以及容器調(diào)度。在容器調(diào)度中,由于原生K8S的調(diào)度能力不足以支撐機(jī)器學(xué)習(xí)服務(wù)和大數(shù)據(jù)的運(yùn)算,我們基于K8S做了調(diào)度上的優(yōu)化。
  • 中間是基礎(chǔ)服務(wù)層。其中有數(shù)據(jù)計(jì)算引擎,譬如前面提到的DSL以及內(nèi)置函數(shù)的指標(biāo)定義,其中對(duì)于時(shí)間跨度比較大的實(shí)時(shí)流特征,會(huì)需要離線跑批任務(wù)去計(jì)算。然后是離線和在線的服務(wù)管理。其中離線包含諸如定時(shí)跑批任務(wù)、任務(wù)編排、任務(wù)監(jiān)控以及執(zhí)行。在線服務(wù)包含灰度發(fā)布,輔助做ABTest的流量網(wǎng)關(guān),以及針對(duì)多個(gè)在線服務(wù)的K8S彈性伸縮,和可視化的服務(wù)編排,還有AutoML的模型管理,以及保證數(shù)據(jù)質(zhì)量的數(shù)據(jù)管理模塊等。
  • 最上面是業(yè)務(wù)模塊層。會(huì)有數(shù)據(jù)中心來(lái)管理所有的三方數(shù)據(jù),業(yè)務(wù)數(shù)據(jù)以及需要人來(lái)操作上傳、刪除的特殊數(shù)據(jù),諸如黑白名單等等。策略組件和策略中心則通過(guò)可視化的界面把這些組件串聯(lián)起來(lái)。場(chǎng)景中心則是例如交易反欺詐等業(yè)務(wù)場(chǎng)景創(chuàng)建的入口,以及業(yè)務(wù)監(jiān)控報(bào)表。另一個(gè)比較重要的是策略實(shí)驗(yàn)室,會(huì)提供指標(biāo)閾值以及規(guī)則組合的能力。

通過(guò)三層的能力劃分實(shí)現(xiàn)的能力原子化,無(wú)論對(duì)于我們的產(chǎn)品本身還是對(duì)客戶已有的系統(tǒng)融合都是有益處的。

05應(yīng)用案例

最后分享兩個(gè)例子。

其中一個(gè)是硬實(shí)時(shí)交易反欺詐。這個(gè)案例主要體現(xiàn)了性能優(yōu)勢(shì),筆均處理時(shí)長(zhǎng)只有6毫秒,然后TP99可以控制到20毫秒內(nèi)。另一方面,從風(fēng)控能力上看,特征維度比傳統(tǒng)風(fēng)控要大很多,且使用了模型加規(guī)則的雙引擎。我們之所以能在雙引擎上實(shí)現(xiàn)高性能,主要得益于我們的內(nèi)存時(shí)序數(shù)據(jù)庫(kù),這也是內(nèi)部的重要模塊。

另一個(gè)例子是某全國(guó)股份制銀行的全渠道反欺詐系統(tǒng)項(xiàng)目,其中涉及規(guī)則500+,實(shí)時(shí)計(jì)算指標(biāo)2000+。在業(yè)務(wù)效果上,系統(tǒng)每月幫助行方發(fā)現(xiàn)攔截高危風(fēng)險(xiǎn)近1萬(wàn)筆。左側(cè)是接入某股份制銀行之后的架構(gòu)。

責(zé)任編輯:張燕妮 來(lái)源: DataFunTalk
相關(guān)推薦

2023-10-26 06:55:17

風(fēng)控系統(tǒng)應(yīng)用

2021-03-22 11:49:19

架構(gòu)運(yùn)維技術(shù)

2017-11-24 08:32:04

架構(gòu)設(shè)計(jì)存儲(chǔ)

2023-09-04 07:03:35

2023-03-01 18:12:16

平臺(tái)架構(gòu)設(shè)計(jì)

2018-11-06 22:17:03

第四范式智能推薦媒體

2023-02-15 21:49:55

2021-07-01 13:54:50

AI決策開(kāi)源

2022-06-14 16:38:42

行為序列機(jī)器學(xué)習(xí)黑產(chǎn)

2022-05-18 10:07:29

EMQ車(chē)聯(lián)網(wǎng)MQTT

2022-08-12 15:02:31

應(yīng)用探索

2021-01-22 10:09:32

第四范式D輪7億美元融資

2017-10-10 15:20:10

架構(gòu)數(shù)據(jù)存儲(chǔ)PB級(jí)數(shù)據(jù)

2024-09-09 00:02:00

2019-06-13 18:50:47

支付平臺(tái)架構(gòu)設(shè)計(jì)

2023-03-27 08:05:27

數(shù)字化轉(zhuǎn)型MLOps

2021-09-01 18:37:36

大數(shù)據(jù)功能風(fēng)控

2011-08-09 09:46:53

iPhoneASIFormData架構(gòu)

2023-12-04 11:13:46

AIoT智能物聯(lián)網(wǎng)

2009-07-06 10:36:41

敏捷開(kāi)發(fā)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 亚洲区在线 | 国产精品日日做人人爱 | 99久久免费精品 | 国产精品极品美女在线观看免费 | 伊人网伊人| 国产成人啪免费观看软件 | 在线观看你懂的网站 | www精品美女久久久tv | 天天澡天天狠天天天做 | 在线看免费 | av性色 | 亚洲一区视频在线 | 日日操夜夜干 | 欧美舔穴| 人人干在线视频 | 国产高清免费 | 国产高清无av久久 | 一区二区三区视频 | 在线a视频网站 | 日韩精品免费一区 | 男女啪啪高潮无遮挡免费动态 | 欧美激情视频一区二区三区在线播放 | www日韩欧美 | 成人一区二区三区在线观看 | 91成人小视频 | 一区二区视频在线 | av国产精品 | 国产激情一区二区三区 | 成人性生交大片免费看中文带字幕 | 亚洲精品一级 | 久热国产在线 | 欧美日韩专区 | 国产一区二区三区 | 在线观看午夜视频 | 亚洲欧美中文字幕在线观看 | 国产一区二区三区在线 | 成人午夜视频在线观看 | 91精品国产综合久久香蕉麻豆 | 免费国产视频 | 中文字幕在线免费视频 | 91精品国产一区二区三区香蕉 |