Go arena 民間庫(kù)來(lái)了，可以手動(dòng)管理內(nèi)存！
大家好，我是煎魚(yú)。
上年我們有討論過(guò)關(guān)于 Go arena 手動(dòng)管理內(nèi)存的相關(guān)提案。一開(kāi)始還高歌猛進(jìn)，但沒(méi)想到后面由于嚴(yán)重的 API 問(wèn)題（想把 arena 應(yīng)用到其他的標(biāo)準(zhǔn)庫(kù)中，但會(huì)引入大問(wèn)題）：
圖片
Go 核心團(tuán)隊(duì)中途咕咕咕到現(xiàn)在，沒(méi)有新的推動(dòng)和突破性進(jìn)展，實(shí)屬尷尬。
圖片
最近有社區(qū)的大佬有了新的動(dòng)作，來(lái)自 Grafana 的 @Miguel ángel Ortu?o 開(kāi)源了一個(gè)新的第三方庫(kù) ortuman/nuke[1]，用于完成 arena 手動(dòng)管理內(nèi)存的訴求。
今天我們基于官方資料此進(jìn)行使用分享和介紹，也好未雨綢繆一下。
溫習(xí)前置知識(shí)
Arena 指的是一種從一個(gè)連續(xù)的內(nèi)存區(qū)域分配一組內(nèi)存對(duì)象的方式。當(dāng)然了，它的重點(diǎn)是要手動(dòng)管理內(nèi)存，實(shí)現(xiàn)一些編程上的內(nèi)存管理目標(biāo)。
優(yōu)點(diǎn)比一般的內(nèi)存分配更有效率，也可以一次性釋放。缺點(diǎn)上需要程序員在編程時(shí)手動(dòng)管理，有可能會(huì)泄漏和錯(cuò)釋放，增大了心智負(fù)擔(dān)。
簡(jiǎn)單來(lái)講就是，Arena 可以手動(dòng)管理內(nèi)存，可以做很多事，有利有弊。也 “容易” 崩。
快速介紹
安裝
安裝命令如下：
go get -u github.com/ortuman/nuke需要注意這個(gè)庫(kù)要求 go >= 1.21.7，在實(shí)際下載前建議先進(jìn)行升級(jí)。
使用案例
常規(guī)使用
基本使用該 arean 庫(kù)的用法，代碼如下：
import (
"github.com/ortuman/nuke"
)
type Foo struct{ A int }
func main() {
arena := nuke.NewMonotonicArena(256*1024, 80)
fooRef := nuke.New[Foo](arena "Foo")
fooSlice := nuke.MakeSlice[Foo](arena, 0, 10 "Foo")
for i := 0; i < 20; i++ {
fooSlice = nuke.SliceAppend(arena, fooSlice, Foo{A: i})
}
// 做一些煎魚(yú)的業(yè)務(wù)邏輯...
arena.Reset(true)
...
}- 初始化一個(gè)新的 arean 內(nèi)存區(qū)域，緩沖區(qū)大小為 256KB，最大內(nèi)存上限為 20MB。
- 聲明和分配一個(gè) Foo 類(lèi)型的新對(duì)象和容量為 10 個(gè)元素的 Foo 切片。
- 業(yè)務(wù)邏輯完成后，重置所申請(qǐng)的 arean 內(nèi)存區(qū)域（釋放）。
以上是最常用的方式，相當(dāng)于在某一塊代碼片段中進(jìn)行初始化和處理。
基于 context 場(chǎng)景
如果我們需要在 HTTP 請(qǐng)求這類(lèi)整個(gè)生命周期中去使用。
可以借助 context，使用如下方式：
func httpHandler(w http.ResponseWriter, r *http.Request) {
arena := nuke.NewMonotonicArena(64*1024, 10)
defer arena.Reset(true)
ctx := nuke.InjectContextArena(r.Context(), arena)
processRequest(ctx)
// 給煎魚(yú)靜悄悄干點(diǎn)什么...
}
func processRequest(ctx context.Context) {
arena := nuke.ExtractContextArena(ctx)
// ...
}
func main() {
http.HandleFunc("/", httpHandler) fmt.Println("Server is listening on port 8080...")
http.ListenAndServe(":8080", nil)
}在請(qǐng)求端 http context 中注入 arena，再在實(shí)際處理的地方通過(guò) context 獲取 arena，以此達(dá)到穿越整體生命周期的方式。
基于并發(fā)場(chǎng)景
默認(rèn)場(chǎng)景下，nuke.NewMonotonicArena 初始化出來(lái)的 arena，有一個(gè)隱性的坑，他不是并發(fā)安全的！
大膽猜測(cè)，這是基于性能的考慮，所以沒(méi)有做到一起。畢竟鎖會(huì)很吃資源。而在 Go 里要去做手動(dòng)內(nèi)存管理的場(chǎng)景，多少又對(duì)性能有一定的訴求。
在有并發(fā)訴求的場(chǎng)景下，可以使用 NewConcurrentArena 函數(shù)：
import (
"github.com/ortuman/nuke"
)
func main() {
arena := nuke.NewConcurrentArena(
nuke.NewMonotonicArena(256*1024, 20),
)
defer arena.Reset(true)
// 和煎魚(yú)煎個(gè)魚(yú)看看...
}除了換了個(gè)初始化方法，其他用法與常規(guī)用法差不多。
也看了下官方的 Benchmarks，確實(shí)是基于性能考慮的區(qū)分并發(fā)與非并發(fā)的業(yè)務(wù)場(chǎng)景。QPS 越大，性能差距越大：
BenchmarkMonotonicArenaNewObject/100-8 124495 15469 ns/op 0 B/op 0 allocs/op
BenchmarkMonotonicArenaNewObject/1000-8 76744 19602 ns/op 0 B/op 0 allocs/op
BenchmarkMonotonicArenaNewObject/10000-8 24104 50845 ns/op 0 B/op 0 allocs/op
BenchmarkMonotonicArenaNewObject/100000-8 3282 366044 ns/op 0 B/op 0 allocs/op
BenchmarkConcurrentMonotonicArenaNewObject/100-8 90392 16679 ns/op 0 B/op 0 allocs/op
BenchmarkConcurrentMonotonicArenaNewObject/1000-8 43753 29823 ns/op 0 B/op 0 allocs/op
BenchmarkConcurrentMonotonicArenaNewObject/10000-8 8037 149923 ns/op 0 B/op 0 allocs/op
BenchmarkConcurrentMonotonicArenaNewObject/100000-8 879 1364377 ns/op總結(jié)
今天給大家分享了 Go 官方 arena 的最新進(jìn)展和情況，主體上還是由于嚴(yán)重 API 原因（擔(dān)憂像 context 一樣造成傳染性）沒(méi)有突破性進(jìn)展。雖然有人提出可以放到 unsafe 庫(kù)中，也獲得了許多人表情點(diǎn)贊。但仍然沒(méi)能打動(dòng) Go 核心團(tuán)隊(duì)的同學(xué)。
基于此，我們介紹了民間大佬的 arena 開(kāi)源庫(kù) ortuman/nuke。基本功能和使用都能夠滿足需求。后續(xù)有此類(lèi)業(yè)務(wù)需求時(shí)，可以隨時(shí)拿起來(lái)就用！
參考資料
[1]ortuman/nuke: https://github.com/ortuman/nuke
