金融用戶敏感數據如何優雅地實現脫敏？

作者：老馬嘯西風 2023-06-06 08:51:06

開發前端

Sensitive提供了基于注解的方式，并且內置了常見的脫敏方式，便于開發。

項目介紹

日志脫敏是常見的安全需求。普通的基于工具類方法的方式，對代碼的入侵性太強，編寫起來又特別麻煩。

sensitive[1] 提供了基于注解的方式，并且內置了常見的脫敏方式，便于開發。

日志脫敏

為了金融交易的安全性，國家強制規定對于以下信息是要日志脫敏的：

用戶名
手機號
郵箱
銀行卡號
密碼
身份證號

特性

基于注解的日志脫敏。
可以自定義策略實現，策略生效條件。
內置常見的十幾種脫敏內置方案。
java 深拷貝，且原始對象不用實現任何接口。
支持用戶自定義注解。
支持基于 FastJSON 直接生成脫敏后的 json。

快速開始

環境準備

JDK 7+
Maven 3.x

maven 導入

<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-core</artifactId>
    <version>1.0.0</version>
</dependency>

核心 api 簡介

SensitiveUtil 工具類的核心方法列表如下：

序號	方法	參數	結果	說明
1	desCopy()	目標對象	深度拷貝脫敏對象	適應性更強
2	desJson()	目標對象	脫敏對象 json	性能較好
3	desCopyCollection()	目標對象集合	深度拷貝脫敏對象集合
4	desJsonCollection()	目標對象集合	脫敏對象 json 集合

定義對象

UserAnnotationBean.java

通過注解，指定每一個字段的脫敏策略。

public class UserAnnotationBean {
    @SensitiveStrategyChineseName
    private String username;
    @SensitiveStrategyPassword
    private String password;
    @SensitiveStrategyPassport
    private String passport;
    @SensitiveStrategyIdNo
    private String idNo;
    @SensitiveStrategyCardId
    private String bandCardId;
    @SensitiveStrategyPhone
    private String phone;
    @SensitiveStrategyEmail
    private String email;
    @SensitiveStrategyAddress
    private String address;
    @SensitiveStrategyBirthday
    private String birthday;
    @SensitiveStrategyGps
    private String gps;
    @SensitiveStrategyIp
    private String ip;
    @SensitiveStrategyMaskAll
    private String maskAll;
    @SensitiveStrategyMaskHalf
    private String maskHalf;
    @SensitiveStrategyMaskRange
    private String maskRange;
    //Getter & Setter
    //toString()
}

數據準備

構建一個最簡單的測試對象：

UserAnnotationBean bean  = new UserAnnotationBean();
bean.setUsername("張三");
bean.setPassword("123456");
bean.setPassport("CN1234567");
bean.setPhone("13066668888");
bean.setAddress("中國上海市浦東新區外灘18號");
bean.setEmail("whatanice@code.com");
bean.setBirthday("20220831");
bean.setGps("66.888888");
bean.setIp("127.0.0.1");
bean.setMaskAll("可惡啊我會被全部掩蓋");
bean.setMaskHalf("還好我只會被掩蓋一半");
bean.setMaskRange("我比較靈活指定掩蓋范圍");
bean.setBandCardId("666123456789066");
bean.setIdNo("360123202306018888");

測試代碼

final String originalStr = "UserAnnotationBean{username='張三', password='123456', passport='CN1234567', idNo='360123202306018888', bandCardId='666123456789066', phone='13066668888', email='whatanice@code.com', address='中國上海市浦東新區外灘18號', birthday='20220831', gps='66.888888', ip='127.0.0.1', maskAll='可惡啊我會被全部掩蓋', maskHalf='還好我只會被掩蓋一半', maskRange='我比較靈活指定掩蓋范圍'}";
final String sensitiveStr = "UserAnnotationBean{username='張*', password='null', passport='CN*****67', idNo='3****************8', bandCardId='666123*******66', phone='1306****888', email='wh************.com', address='中國上海********8號', birthday='20*****1', gps='66*****88', ip='127***0.1', maskAll='**********', maskHalf='還好我只會*****', maskRange='我*********圍'}";
final String expectSensitiveJson = "{\"address\":\"中國上海********8號\",\"bandCardId\":\"666123*******66\",\"birthday\":\"20*****1\",\"email\":\"wh************.com\",\"gps\":\"66*****88\",\"idNo\":\"3****************8\",\"ip\":\"127***0.1\",\"maskAll\":\"**********\",\"maskHalf\":\"還好我只會*****\",\"maskRange\":\"我*********圍\",\"passport\":\"CN*****67\",\"phone\":\"1306****888\",\"username\":\"張*\"}";

UserAnnotationBean sensitiveUser = SensitiveUtil.desCopy(bean);
Assert.assertEquals(sensitiveStr, sensitiveUser.toString());
Assert.assertEquals(originalStr, bean.toString());
String sensitiveJson = SensitiveUtil.desJson(bean);
Assert.assertEquals(expectSensitiveJson, sensitiveJson);

我們可以直接利用 sensitiveUser 去打印日志信息，而這個對象對于代碼其他流程不影響，我們依然可以使用原來的 user 對象。

當然，也可以使用 sensitiveJson 打印日志信息。

@Sensitive 注解

說明

@SensitiveStrategyChineseName 這種注解是為了便于用戶使用，本質上等價于 @Sensitive(strategy = StrategyChineseName.class)。

@Sensitive 注解可以指定對應的脫敏策略。

內置注解與映射

編號	注解	等價 @Sensitive	備注
1	@SensitiveStrategyChineseName	@Sensitive(strategy = StrategyChineseName.class)	中文名稱脫敏
2	@SensitiveStrategyPassword	@Sensitive(strategy = StrategyPassword.class)	密碼脫敏
3	@SensitiveStrategyEmail	@Sensitive(strategy = StrategyEmail.class)	email 脫敏
4	@SensitiveStrategyCardId	@Sensitive(strategy = StrategyCardId.class)	卡號脫敏
5	@SensitiveStrategyPhone	@Sensitive(strategy = StrategyPhone.class)	手機號脫敏
6	@SensitiveStrategyIdNo	@Sensitive(strategy = StrategyIdNo.class)	身份證脫敏
7	@SensitiveStrategyAddress	@Sensitive(strategy = StrategyAddress.class)	地址脫敏
8	@SensitiveStrategyGps	@Sensitive(strategy = StrategyGps.class)	GPS 脫敏
9	@SensitiveStrategyIp	@Sensitive(strategy = StrategyIp.class)	IP 脫敏
10	@SensitiveStrategyBirthday	@Sensitive(strategy = StrategyBirthday.class)	生日脫敏
11	@SensitiveStrategyPassport	@Sensitive(strategy = StrategyPassport.class)	護照脫敏
12	@SensitiveStrategyMaskAll	@Sensitive(strategy = StrategyMaskAll.class)	全部脫敏
13	@SensitiveStrategyMaskHalf	@Sensitive(strategy = StrategyMaskHalf.class)	一半脫敏
14	@SensitiveStrategyMaskRange	@Sensitive(strategy = StrategyMaskRange.class)	指定范圍脫敏

@Sensitive 定義

@Inherited
@Documented
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
public @interface Sensitive {
    /**
     * 注解生效的條件
     * @return 條件對應的實現類
     */
    Class<? extends ICondition> condition() default ConditionAlwaysTrue.class;
    /**
     * 執行的策略
     * @return 策略對應的類型
     */
    Class<? extends IStrategy> strategy();


}

與 @Sensitive 混合使用

如果你將新增的注解 @SensitiveStrategyChineseName 與 @Sensitive 同時在一個字段上使用。

為了簡化邏輯，優先選擇執行 @Sensitive，如果 @Sensitive 執行脫敏，那么 @SensitiveStrategyChineseName 將不會生效。

如：

/**
 * 測試字段
 * 1.當多種注解混合的時候，為了簡化邏輯，優先選擇 @Sensitive 注解。
 */
@SensitiveStrategyChineseName
@Sensitive(strategy = StrategyPassword.class)
private String testField;

屬性為集合或者對象

如果某個屬性是單個集合或者對象，則需要使用注解 @SensitiveEntry。

放在集合屬性上，且屬性為普通對象

會遍歷每一個屬性，執行上面的脫敏策略。

放在對象屬性上

會處理對象中各個字段上的脫敏注解信息。

放在集合屬性上，且屬性為對象

遍歷每一個對象，處理對象中各個字段上的脫敏注解信息。

放在集合屬性上，且屬性為普通對象

UserEntryBaseType.java

作為演示，集合中為普通的字符串。

public class UserEntryBaseType {
    @SensitiveEntry
    @Sensitive(strategy = StrategyChineseName.class)
    private List<String> chineseNameList;
    @SensitiveEntry
    @Sensitive(strategy = StrategyChineseName.class)
    private String[] chineseNameArray;
    //Getter & Setter & toString()
}

放在對象屬性上

例子如下：

public class UserEntryObject {
    @SensitiveEntry
    private User user;
    @SensitiveEntry
    private List<User> userList;
    @SensitiveEntry
    private User[] userArray;
    //...
}

自定義注解

v0.0.4 新增功能。允許功能自定義條件注解和策略注解。?v0.0.11 新增功能。允許功能自定義級聯脫敏注解。

案例1

自定義密碼脫敏策略&自定義密碼脫敏策略生效條件

策略脫敏

/**
 * 自定義密碼脫敏策略
 * @author binbin.hou
 * date 2019/1/17
 * @since 0.0.4
 */
@Inherited
@Documented
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
@SensitiveStrategy(CustomPasswordStrategy.class)
public @interface SensitiveCustomPasswordStrategy {
}

脫敏生效條件

/**
 * 自定義密碼脫敏策略生效條件
 * @author binbin.hou
 * date 2019/1/17
 * @since 0.0.4
 */
@Inherited
@Documented
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
@SensitiveCondition(ConditionFooPassword.class)
public @interface SensitiveCustomPasswordCondition{
}

TIPS

@SensitiveStrategy 策略單獨使用的時候，默認是生效的。

如果有 @SensitiveCondition 注解，則只有當條件滿足時，才會執行脫敏策略。

@SensitiveCondition 只會對系統內置注解和自定義注解生效，因為 @Sensitive 有屬于自己的策略生效條件。

策略優先級

@Sensitive 優先生效，然后是系統內置注解，最后是用戶自定義注解。

對應的實現

兩個元注解 @SensitiveStrategy、@SensitiveCondition 分別指定了對應的實現。

CustomPasswordStrategy.java

public class CustomPasswordStrategy implements IStrategy {
    @Override
    public Object des(Object original, IContext context) {
        return "**********************";
    }
}

ConditionFooPassword.java

/**
 * 讓這些 123456 的密碼不進行脫敏
 * @author binbin.hou
 * date 2019/1/2
 * @since 0.0.1
 */
public class ConditionFooPassword implements ICondition {
    @Override
    public boolean valid(IContext context) {
        try {
            Field field = context.getCurrentField();
            final Object currentObj = context.getCurrentObject();
            final String name = (String) field.get(currentObj);
            return !name.equals("123456");
        } catch (IllegalAccessException e) {
            throw new RuntimeException(e);
        }
    }
}

定義測試對象

定義一個使用自定義注解的對象。

public class CustomPasswordModel {
    @SensitiveCustomPasswordCondition
    @SensitiveCustomPasswordStrategy
    private String password;
    @SensitiveCustomPasswordCondition
    @SensitiveStrategyPassword
    private String fooPassword;
    //其他方法
}

測試

/**
 * 自定義注解測試
 */
@Test
public void customAnnotationTest() {
    final String originalStr = "CustomPasswordModel{password='hello', fooPassword='123456'}";
    final String sensitiveStr = "CustomPasswordModel{password='**********************', fooPassword='123456'}";
    CustomPasswordModel model = buildCustomPasswordModel();
    Assert.assertEquals(originalStr, model.toString());
    CustomPasswordModel sensitive = SensitiveUtil.desCopy(model);
    Assert.assertEquals(sensitiveStr, sensitive.toString());
    Assert.assertEquals(originalStr, model.toString());
}

構建對象的方法如下：

/**
 * 構建自定義密碼對象
 * @return 對象
 */
private CustomPasswordModel buildCustomPasswordModel(){
    CustomPasswordModel model = new CustomPasswordModel();
    model.setPassword("hello");
    model.setFooPassword("123456");
    return model;
}

案例2

v0.0.11 新增功能。允許功能自定義級聯脫敏注解。

自定義級聯脫敏注解

自定義級聯脫敏注解

可以根據自己的業務需要，在自定義的注解上使用 @SensitiveEntry。

使用方式保持和 @SensitiveEntry 一樣即可。

/**
 * 級聯脫敏注解,如果對象中屬性為另外一個對象(集合)，則可以使用這個注解指定。
 * <p>
 * 1. 如果屬性為 Iterable 的子類集合，則當做列表處理，遍歷其中的對象
 * 2. 如果是普通對象，則處理對象中的脫敏信息
 * 3. 如果是普通字段/MAP，則不做處理
 * @since 0.0.11
 */
@Inherited
@Documented
@Target(ElementType.FIELD)
@Retention(RetentionPolicy.RUNTIME)
@SensitiveEntry
public @interface SensitiveEntryCustom {
}

定義測試對象

定義一個使用自定義注解的對象。

public class CustomUserEntryObject {
    @SensitiveEntryCustom
    private User user;
    @SensitiveEntryCustom
    private List<User> userList;
    @SensitiveEntryCustom
    private User[] userArray;
    // 其他方法...
}

生成脫敏后的 JSON

說明

為了避免生成中間脫敏對象，v0.0.6 之后直接支持生成脫敏后的 JSON。

使用方法

新增工具類方法，可以直接返回脫敏后的 JSON。

生成的 JSON 是脫敏的，原對象屬性值不受影響。

public static String desJson(Object object)

注解的使用方式

和 SensitiveUtil.desCopy() 完全一致。

使用示例代碼

所有的測試案例中，都添加了對應的 desJson(Object) 測試代碼，可以參考。

此處只展示最基本的使用。

final String originalStr = "SystemBuiltInAt{phone='18888888888', password='1234567', name='脫敏君', email='12345@qq.com', cardId='123456190001011234'}";
final String sensitiveJson = "{\"cardId\":\"123456**********34\",\"email\":\"12******.com\",\"name\":\"脫**\",\"phone\":\"1888****888\"}";
SystemBuiltInAt systemBuiltInAt = DataPrepareTest.buildSystemBuiltInAt();
Assert.assertEquals(sensitiveJson, SensitiveUtil.desJson(systemBuiltInAt));
Assert.assertEquals(originalStr, systemBuiltInAt.toString());

注意

本次 JSON 脫敏基于 FastJSON[2]。

FastJSON 在序列化本身存在一定限制。當對象中有集合，集合中還是對象時，結果不盡如人意。

示例代碼

本測試案例可見測試代碼。

final String originalStr = "UserCollection{userList=[User{username='脫敏君', idCard='123456190001011234', password='1234567', email='12345@qq.com', phone='18888888888'}], userSet=[User{username='脫敏君', idCard='123456190001011234', password='1234567', email='12345@qq.com', phone='18888888888'}], userCollection=[User{username='脫敏君', idCard='123456190001011234', password='1234567', email='12345@qq.com', phone='18888888888'}], userMap={map=User{username='脫敏君', idCard='123456190001011234', password='1234567', email='12345@qq.com', phone='18888888888'}}}";
final String commonJson = "{\"userArray\":[{\"email\":\"12345@qq.com\",\"idCard\":\"123456190001011234\",\"password\":\"1234567\",\"phone\":\"18888888888\",\"username\":\"脫敏君\"}],\"userCollection\":[{\"$ref\":\"$.userArray[0]\"}],\"userList\":[{\"$ref\":\"$.userArray[0]\"}],\"userMap\":{\"map\":{\"$ref\":\"$.userArray[0]\"}},\"userSet\":[{\"$ref\":\"$.userArray[0]\"}]}";
final String sensitiveJson = "{\"userArray\":[{\"email\":\"12******.com\",\"idCard\":\"123456**********34\",\"phone\":\"1888****888\",\"username\":\"脫**\"}],\"userCollection\":[{\"$ref\":\"$.userArray[0]\"}],\"userList\":[{\"$ref\":\"$.userArray[0]\"}],\"userMap\":{\"map\":{\"$ref\":\"$.userArray[0]\"}},\"userSet\":[{\"$ref\":\"$.userArray[0]\"}]}";
UserCollection userCollection = DataPrepareTest.buildUserCollection();
Assert.assertEquals(commonJson, JSON.toJSONString(userCollection));
Assert.assertEquals(sensitiveJson, SensitiveUtil.desJson(userCollection));
Assert.assertEquals(originalStr, userCollection.toString());

解決方案

如果有這種需求，建議使用原來的 desCopy(Object)。

脫敏引導類

為了配置的靈活性，引入了引導類。

核心 api 簡介

SensitiveBs 引導類的核心方法列表如下：

序號	方法	參數	結果	說明
1	desCopy()	目標對象	深度拷貝脫敏對象	適應性更強
2	desJson()	目標對象	脫敏對象 json	性能較好

使用示例

使用方式和工具類一致，示意如下：

SensitiveBs.newInstance().desCopy(user);

配置深度拷貝實現

默認的使用 FastJson 進行對象的深度拷貝，等價于：

SensitiveBs.newInstance()
                .deepCopy(FastJsonDeepCopy.getInstance())
                .desJson(user);

參見 SensitiveBsTest.java[3]。

deepCopy 用于指定深度復制的具體實現，支持用戶自定義。

深度復制（DeepCopy）

說明

深度復制可以保證我們日志輸出對象脫敏，同時不影響正常業務代碼的使用。

可以實現深度復制的方式有很多種，默認基于 fastjson[4] 實現的。

為保證后續良性發展，v0.0.13 版本之后將深度復制接口抽離為單獨的項目：

deep-copy[5]

內置策略

目前支持 6 種基于序列化實現的深度復制，便于用戶替換使用。

每一種都可以單獨使用，保證依賴更加輕量。

自定義

為滿足不同場景的需求，深度復制策略支持用戶自定義。

自定義深度復制[6]

開源地址

https://github.com/houbb/sensitive [7]。

References

[1] sensitive: https://github.com/houbb/sensitive。

[2] FastJSON: https://github.com/alibaba/fastjson。

[3] SensitiveBsTest.java: https://github.com/houbb/sensitive/blob/master/sensitive-test/src/test/java/com/github/houbb/sensitive/test/bs/SensitiveBsTest.java。

[4] fastjson: https://github.com/alibaba/fastjson。

[5] deep-copy: https://github.com/houbb/deep-copy。

[6] 自定義深度復制: https://github.com/houbb/deep-copy#自定義。

[7] https://github.com/houbb/sensitive : https://github.com/houbb/sensitive。

責任編輯：姜華來源：今日頭條

Sensitive 日志脫敏

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

金融用戶敏感數據如何優雅地實現脫敏？

項目介紹

日志脫敏

特性

快速開始

環境準備

maven 導入

核心 api 簡介

定義對象

@Sensitive 注解

說明

內置注解與映射

@Sensitive 定義

與 @Sensitive 混合使用

更多特性

自定義脫敏策略生效的場景

屬性為集合或者對象

放在集合屬性上，且屬性為普通對象

放在對象屬性上

自定義注解

案例1

自定義密碼脫敏策略&自定義密碼脫敏策略生效條件

對應的實現

定義測試對象

測試

案例2

自定義級聯脫敏注解

定義測試對象

生成脫敏后的 JSON

說明

使用方法

注解的使用方式

使用示例代碼

注意

示例代碼

解決方案

脫敏引導類

核心 api 簡介

使用示例

配置深度拷貝實現

深度復制（DeepCopy）

說明

內置策略

自定義

開源地址

References