MetrAutoAPI系統(tǒng)架構(gòu)設(shè)計(jì)

作者：李賀曉 2023-07-05 08:00:52

商用數(shù)據(jù)庫不是開發(fā)者的玩具，而是要被用戶長期使用的，不斷升級的技術(shù)不應(yīng)該讓使用者的知識不斷的過期，保持知識與接口的兼容性方面，我們的國產(chǎn)數(shù)據(jù)庫還是有很多地方要多學(xué)學(xué)Oracle。?

1.背景

公司正在進(jìn)行數(shù)據(jù)戰(zhàn)略轉(zhuǎn)型，因此我們面臨的數(shù)據(jù)需求越來越多，而我們擁有的指標(biāo)數(shù)據(jù)越來越豐富。不過，僅僅擁有數(shù)據(jù)并不夠，我們需要能夠更加靈活高效的使用這些數(shù)據(jù)，以應(yīng)對頻繁多變的數(shù)據(jù)需求。傳統(tǒng)的數(shù)據(jù)業(yè)務(wù)開發(fā)流程效率低下，無法及時響應(yīng)變化的需求。因此，我們必須找到一種快速、靈活的解決方案，以滿足我們快速變化的需求。

2.MetrAutoAPI設(shè)計(jì)

2.1平臺介紹

MetrAutoAPI（Metric Automate API即指標(biāo)自動化API）將指標(biāo)數(shù)據(jù)與應(yīng)用層做分離，MetrAutoAPI僅負(fù)責(zé)管理和處理數(shù)據(jù)信息，對外提供了一個通用的API接口，所有的數(shù)據(jù)請求和響應(yīng)都通過這個接口進(jìn)行傳輸和處理。

MetrAutoAPI支持多個數(shù)據(jù)源集成，其API建模功能靈活可配置，可通過頁面拖拽和配置生成SQL查詢語句，幫助用戶快速準(zhǔn)確地獲取所需數(shù)據(jù)。此外，規(guī)則引擎服務(wù)可以對查詢結(jié)果進(jìn)行靈活的運(yùn)算，幫助用戶實(shí)現(xiàn)自動化計(jì)算和分析，從而提高效率。

2.2架構(gòu)設(shè)計(jì)

圖片

物理查詢層：通過統(tǒng)一查詢引擎，實(shí)現(xiàn)對不同來源數(shù)據(jù)庫的查詢

語義模型層：負(fù)責(zé)指標(biāo)元數(shù)據(jù)的管理，并對API-SQL模型進(jìn)行管理。

統(tǒng)一服務(wù)層：提供指標(biāo)維度的API構(gòu)建功能，以及基于指標(biāo)維度的數(shù)據(jù)查詢和規(guī)則引擎配置服務(wù)。

統(tǒng)一接口層：提供一個對外的API接口，所有的數(shù)據(jù)請求和響應(yīng)都通過這個接口進(jìn)行傳輸和處理。

此方案對比傳統(tǒng)開發(fā)模式:

圖片

2.3使用場景

以下是MetrAutoAPI的一些使用場景的介紹：

?數(shù)據(jù)看板展示

圖片

2.4核心功能

?2.4.1 SQL建模服務(wù)

利用Zealot與MySqlStatementParser實(shí)現(xiàn)SQL建模功能

可以根據(jù)不同的查詢條件和參數(shù)動態(tài)生成對應(yīng)的SQL語句，從而避免手動拼接SQL語句帶來的代碼冗余和錯誤，可以很好地支持參數(shù)的綁定和傳遞，可以通過占位符或命名參數(shù)的方式傳遞參數(shù)，同時支持參數(shù)類型的自動轉(zhuǎn)換

SQL建模過程如下：

public static List<FieldVo> getFieldName(String sqlStr) {  
        MySqlStatementParser mySqlStatementParser = new MySqlStatementParser(sqlStr);  
        //使用parpser解析生成的AST,這里sqlStatement是AST,AST為抽象語法樹  
        SQLStatement sqlStatement = mySqlStatementParser.parseStatement();  
        MySqlSchemaStatVisitor visitor = new MySqlSchemaStatVisitor();  
        sqlStatement.accept(visitor);  
  
        //list是存儲表名和字段名的集合  
        List<FieldVo> list = new ArrayList<>();  
        Collection<TableStat.Column> columns = visitor.getColumns();  
        //通過循環(huán)將表名和字段名解析出，并存儲到list集合中  
        columns.stream().forEach(row -> {  
            if (row.isSelect()) {  
                FieldVo fieldVo = new FieldVo();  
                fieldVo.setTableName(row.getTable());  
                fieldVo.setFieldName(row.getName());  
                list.add(fieldVo);  
            }  
        });  
  
        List<FieldVo> aliasList = getAliasField(sqlStr);  
        for (int i = 0 ; i < list.size() ; i ++) {  
            FieldVo vo = list.get(i);  
            FieldVo aliasVo = aliasList.get(i);  
            if (Objects.isNull(aliasVo.getAliasName())) {  
                vo.setAliasName(vo.getFieldName());  
            } else {  
                vo.setAliasName(aliasVo.getAliasName());  
            }  
        }  
        return list;  
    }

自動生成API-SQL接口文檔說明：

圖片

?2.4.2 API-aviator規(guī)則引擎服務(wù)

Aviator是一個高性能、輕量級的java語言實(shí)現(xiàn)的表達(dá)式求值引擎，主要用于各種表達(dá)式的動態(tài)求值，使用規(guī)則引擎可以把復(fù)雜、重復(fù)的業(yè)務(wù)規(guī)則同各個業(yè)務(wù)系統(tǒng)分離開，以提高業(yè)務(wù)邏輯的復(fù)用能力和開發(fā)效率。

圖片

規(guī)則表達(dá)式設(shè)置如下:

圖片

初始化規(guī)則引擎：

public class AviatorEvaluatorUtils {  
    private static AviatorEvaluatorInstance instance = AviatorEvaluator.getInstance();  
  
    public AviatorEvaluatorUtils() {  
    }  
  
    public static AviatorEvaluatorInstance getInstance() {  
        return instance;  
    }  
  
    static {  
        instance.addFunction(new TransNullToZeroRule());  
        instance.addFunction(new IsNullRuleFunction());  
        instance.addFunction(new CrrRadioRule());  
        instance.addFunction(new CrrRule());  
    }  
}

規(guī)則引擎服務(wù)會解析并執(zhí)行規(guī)則表達(dá)式。

private List<Map<String, Object>> expResult(List<RestApiVo> fieldList, List<Map<String, Object>> dataList) {  
       Stopwatch started = Stopwatch.createStarted();  
       List<Map<String, Object>> resultList = new ArrayList<>();  
       for (Map<String, Object> map : dataList) {  
           Map<String, Object> dataMap = new HashMap<>();  
           fieldList.forEach(e -> {  
               try {  
                   Expression exp = AviatorEvaluatorUtils.getInstance().compile(e.getFieldExp(), true);  
                   Object value = exp.execute(map);  
                   if (Objects.isNull(value)) {  
                       dataMap.put(e.getFieldName(), null);  
                   } else {  
                       if (e.getIsFormat().intValue() == 1) {  
                           BigDecimal decimal = new BigDecimal(value.toString());  
                           BigDecimal scale = decimal.setScale(e.getNumberFormat().intValue(), BigDecimal.ROUND_HALF_UP);  
                           dataMap.put(e.getFieldName(), scale);  
                       } else {  
                           dataMap.put(e.getFieldName(), value);  
                       }  
                   }  
               } catch (Exception ex) {  
                   log.error("解析表達(dá)式異常,字段:{},結(jié)果:{}", JsonUtil.serialize(e), JsonUtil.serialize(map), ex);  
                   dataMap.put(e.getFieldName(), null);  
               }  
           });  
           resultList.add(dataMap);  
       }  
       log.warn("轉(zhuǎn)換結(jié)果耗時:{}", started.stop());  
       return resultList;  
   }

?2.4.3 API統(tǒng)一查詢引擎

提供標(biāo)準(zhǔn)化的接口和協(xié)議，使得調(diào)用端可以通過一致的方式來請求和響應(yīng)多個不同的 API。這樣做可以簡化開發(fā)人員的工作，加快應(yīng)用程序的開發(fā)速度，同時提高系統(tǒng)的可靠性和可維護(hù)性。

/** 
     * 統(tǒng)一API接口 
     * @param _appId appId 
     * @param params 入?yún)?
     * @return 
     */  
    @PostMapping("/restApi")  
    public Protocol<List<Map<String, Object>>> restApi(String _appId, @RequestBody Map<String, Object> params, String apiKey) {  
        ParamsValid valid = new ParamsValid();  
        valid.validNotNull("params", params)  
                .valid("apiId與apiKey不能同時為空", () -> {  
                    if (Objects.isNull(params.get("apiId"))  && Objects.isNull(params.get("apiKey"))) {  
                        return false;  
                    }  
                    return true;  
                }).valid("apiKey值不正確", () -> {  
                    if (Objects.nonNull(params.get("apiKey"))) {  
                        if (Strings.isNullOrEmpty(params.get("apiKey").toString())) {  
                            return false;  
                        }  
                    }  
                    return true;  
                });  
        if (!valid.isValid()) {  
            return valid.showInValidMessage();  
        }  
        Protocol<List<Map<String, Object>>> protocol = null;  
        try {  
            protocol = targetAutoService.restApi(params, _appId, 1);  
        } catch (DataSelfException ex) {  
            log.error("查詢數(shù)據(jù)異常:param:{},apiKey:{}", JsonUtil.serialize(params), apiKey, ex);  
            return new Protocol<>(-1, ex.toString());  
        } catch (Exception e) {  
            log.error("查詢信息異常:param:{}", JsonUtil.serialize(params), e);  
            return new Protocol<>(-1, "查詢異常，請重試");  
        }  
        return protocol;  
    }

流程如下：

圖片

3.實(shí)踐過程中問題及解決方案

3.1使用過程中遇到的難題

接口性能差：接口性能差，分析日志發(fā)現(xiàn)從數(shù)據(jù)庫中讀取配置與規(guī)則引擎信息耗時較長，性能較差。

解決方案：使用redis作為緩存，存儲模型元數(shù)據(jù)信息，統(tǒng)一API引擎在讀取配置數(shù)據(jù)前先從redis中獲取，如果獲取不到再從業(yè)務(wù)庫中讀取，并將讀取到的數(shù)據(jù)寫入redis緩存，設(shè)置過期時間，定期清除redis緩存中過期的數(shù)據(jù)，避免占用過多的內(nèi)存；通過以上優(yōu)化，可以有效減少從數(shù)據(jù)庫中讀取配置數(shù)據(jù)的時間，提高接口性能。

使用緩存后，性能對比：

圖片

上線成本高：測試環(huán)境建模并驗(yàn)證完成后，還需要在線上環(huán)境再次建模，不僅重復(fù)操作并且可能因?yàn)槿藶槭韬鲈斐删€上線下模型不一致，從而造成嚴(yán)重后果。

解決方案：使用信息復(fù)制可以簡化測試環(huán)境到線上環(huán)境的配置過程，從而提高工作效率。具體實(shí)現(xiàn)步驟如下：

在測試環(huán)境中建模，并將模型元數(shù)據(jù)信息保存為一個JSON格式的數(shù)據(jù)，通過粘貼板復(fù)制功能，將JSON信息復(fù)制到線上環(huán)境，通過權(quán)限控制來進(jìn)行安全控制（配置簡單化），避免人為異常。

多API接口合并：由于調(diào)用方可能需要的指標(biāo)過于繁瑣，可能涉及多個指標(biāo)API接口的調(diào)用，造成調(diào)用方調(diào)用次數(shù)過多，造成并發(fā)多，壓力大，影響調(diào)用方的使用或者造成調(diào)用鏈過長

解決方案：采用接口聚合的方式來解決。接口聚合是將多個API接口的數(shù)據(jù)聚合到一個API接口中，使得調(diào)用方只需要調(diào)用一個API接口就能獲取到需要的所有指標(biāo)數(shù)據(jù)，避免了多次調(diào)用導(dǎo)致的并發(fā)過多和響應(yīng)時間過長的問題。同時，也可以提高接口的可用性，避免接口出錯或者異常導(dǎo)致調(diào)用失敗。