用Option模式和對接層簡化和管理Go項目的外部API
在項目開發實現功能需求的過程中不可避免的要與外部第三方系統進行交互,這些交互大部分是通過請求API接口來完成的。
前幾節提到但一直沒帶大家用代碼過一遍的Lib層就是負責寫第三方對接邏輯的,通過把跟第三方對接的邏輯限制在Lib層里,讓項目的其他部分不需要關注第三方的邏輯,從而達到每部分都職責分明,這樣項目的代碼多起來后才不會變得臃腫和雜亂。
不過在演示Lib層的使用前我們需要先一起給項目封裝一個好用的HTTP請求工具。
圖片
用Go 實現一個好用的 HTTP 請求工具
Go自帶了的http庫就能發起API調用,為啥我們還要做這個封裝呢?其實主要有以下幾個目的:
- 簡化 HTTP 請求的發起
- 利用Option模式用命名參數的方式進行請求的多選項設置
- header 頭中自動攜帶trace信息,方便內部的二方服務一起做好鏈路追蹤
- 慢請求的日志記錄
- 非 200 響應錯誤統一處理
我們一個個來說,首先在項目中發起HTTP請求調用API的時候不同的情況會有不同的設置:
- Method GET 或者 是POST
- POST 請求要設置請求Body
- 超時時間是否要單獨設置
- Header 頭是否要攜帶的信息
- 特殊情況下還可能有其他更多的請求設置
如果項目中每次調用API都是像下面這段代碼一樣用原生 http 庫中的方法, 先 new 出一個Request對象,再按照需要一個個設置上面的配置項,最后再發起請求,當然是沒有問題,完全能實現功能。
req, err := http.NewRequest(method, url, bytes.NewReader(reqOpts.data))
req.WithContext(ctx)
req.Header.Add("Content-Type", "application/json")
client := &http.Client{Timeout: 5 * time.Second}
resp, err := client.Do(req)
但就是每次都得寫這一堆代碼,在多人開發的項目中一定會把這些代碼粘來粘去,除此之外像請求日志記錄、請求頭設置追蹤信息等通用操作的代碼每次也都得寫一遍,增加很多冗余不說,一旦忘記了這些后面出問題想排查原因也不好排查。
所以我們必須要封裝一個統一的 HTTP 請求工具方法,把一些通用的基礎工作在工具中都做好避免每次都要記得去手寫那些代碼,從而減少編碼中不必要的精力浪費。
那么要封裝HTTP請求工具就遇到一個問題,我們并不是每次發請求都需要設置這么多參數,那你的工具方法應該怎么設置參數呢?設置少了遇到不滿足的情況還得重新再寫一個多參數版本的工具方法,那誰能保證類似需要加參數的情況會不會再有呢?
而且參數設置的多了,每次使用時用不到的參數也得給傳一個零值才能調用,一旦調用時參數順序傳錯了還會有問題,屬于自己給自己寫BUG的一種常見情況。
用Option模式讓Go支持命名參數
考慮到這些情況后,根據這些痛點,我們利用Golang func 的可變參數特性,結合 Option 模式的設計,讓我們的工具方法支持可變且具名的參數,即擁有下面的兩個能力
- 用到哪些設置了,調用時再傳那些參數,不需要讓用不到的設置占用參數位置。
- 利用Option模式讓參數變成具有名稱的參數,不再限定參數的順序。
首先我們在 common/util 下創建 httptool 目錄,其中新增httptool.go 文件。
我們用Option模式是為了設置請求的選項,所以我們在 httptool.go 中先定義一個用于保存請求選項的結構體。
type requestOption struct {
ctx context.Context
timeout time.Duration
data []byte
headers map[string]string
}
func defaultRequestOptions() *requestOption {
return &requestOption{
ctx: context.Background(),
timeout: 5 * time.Second,
data: nil,
headers: map[string]string{},
}
}
這個里面的字段可以根據自己的需要再增加。然后我們定義出Option的通用行為:
type Option interface {
apply(option *requestOption) error
}
type optionFunc func(option *requestOption) error
func (f optionFunc) apply(opts *requestOption) error {
return f(opts)
}
我們看下面這幾個請求配置選項對應的Option 函數,這里我不寫注釋光看每個函數的名字你們也能看出來他們都是用來設置什么的。
func WithContext(ctx context.Context) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.ctx = ctx
return
})
}
func WithTimeout(timeout time.Duration) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.timeout, err = timeout, nil
return
})
}
func WithHeaders(headers map[string]string) Option {
return optionFunc(func(opts *requestOption) (err error) {
for k, v := range headers {
opts.headers[k] = v
}
return
})
}
func WithData(data []byte) Option {
return optionFunc(func(opts *requestOption) (err error) {
opts.data, err = data, nil
return
})
}
optionFunc 把這些 func(opts *requestOption) (err error) 類型函數都轉換成了自己的類型,讓他們成為了Option接口的實現,擁有了apply方法, apply方法的邏輯就是直接調用這些被轉換的函數。
這樣在我們的請求工具方法中,就可以迭代可變參數的實際參數,然后一個個地去調用他們的 apply 方法來構造最終的請求選項, 像下面這樣。
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
start := time.Now()
reqOpts := defaultRequestOptions() // 默認的請求選項
for _, opt := range options { // 在reqOpts上應用通過options設置的選項
err = opt.apply(reqOpts)
if err != nil {
return
}
}
...
}
上面這個Request方法就是我們的工具提供的函數,method、url 因為是必填的就不必再整成Option參數了,其他關于請求的設置都可以通過在調用是使用WithXXX()一系列的函數傳參進來。
Request("POST", url, WithTimeout(timeout), WithHeaders(headers), WithData(data))
日志和追蹤頭信息
我們在發起請求的第一個參數都是 context.Context 類型的上下文參數, 這個意圖是為了讓你調用時把請求上下文 gin.Context 傳遞進來,我們好從其中取到一開始種進去的追蹤信息,然后設置到要發起的請求的Header中去。
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
......
// 在Header中添加追蹤信息 把內部服務串起來
traceId, spanId, _ := util.GetTraceInfoFromCtx(reqOpts.ctx)
reqOpts.headers["traceid"] = traceId
reqOpts.headers["spanid"] = spanId
if len(reqOpts.headers) != 0 { // 設置請求頭
for key, value := range reqOpts.headers {
req.Header.Add(key, value)
}
}
......
}
同時因為有了ctx 信息,我們使用項目自己的Logger門面進行日志記錄的時候也會把請求的追蹤信息一并寫到日志信息中去,通過trace、span 信息也能查到項目的一個接口在執行過程中內部發起了哪些API調用?以及得到了什么結果?
func Request(method string, url string, options ...Option) (httpStatusCode int, respBody []byte, err error) {
......
// 發起請求
client := &http.Client{Timeout: reqOpts.timeout}
resp, err := client.Do(req)
if err != nil {
return
}
defer resp.Body.Close()
// 記錄請求日志
dur := time.Since(start).Seconds()
if dur >= 3 { // 超過 3s 返回, 記一條 Warn 日志
log.Warn("HTTP_REQUEST_SLOW_LOG", "method", method, "url", url, "body", reqOpts.data, "reply", respBody, "err", err, "dur/ms", dur)
} else {
log.Debug("HTTP_REQUEST_DEBUG_LOG", "method", method, "url", url, "body", reqOpts.data, "reply", respBody, "err", err, "dur/ms", dur)
}
}
連接池的設置
服務間接口調用,維持穩定數量的長連接,對性能非常有幫助,這就需要我們在Go 的 http Client的連接池特性,該特性需要在創建Client時用 http.Transport 進行設置。