撰稿 | 王瑞平

審校 | 云昭

開源、Github標星狂飆2萬、CVP（即，ChatGPT+VectorDB+Prompt）架構...又一匹數據庫黑馬突出重圍。

它就是Milvus向量數據庫，幾年前便在Github上開源，瞬間引爆全球，不僅完美詮釋了新興CVP架構，也成為“群模亂舞”當下的一股清流。

圖片

Milvus旨在為AI應用程序和嵌入相似度搜索提供支持，使非結構化數據更易于搜索和訪問，無論部署環境如何都能使用戶獲得相同的體驗。

1、AIGC新紀元從“向量數據庫”邁入“大模型記憶體”

Milvus以4個月5000星的速度邁入Github 2萬星項目的隊列，越來越多開發者也正在為Milvus進入AIGC新紀元注入更多力量。

2019年，GitHub上將Milvus的源代碼開源。彼時，行業尚無“向量數據庫”一說，用戶最關心的問題是“什么是向量數據庫”。

2023年，ChatGPT 引發AIGC熱潮，在這個大模型恣意生長的年份，越來越多的人關心“向量數據庫可以做什么？”

在大語言模型時代，向量數據庫必不可少，它不僅是大模型的記憶體，還能通過向量檢索讓大模型變得博聞強識。

在此過程中，AIGC開發者可以看到的是Milvus在2.2.9版本和中新增了JSON、動態schema和PartitionKey三大功能，簡化了開發者使用門檻，并接入了開源項目GPTCache，提升LLM應用性能。

2、大模型時代，數據庫也需要跟上

我們正處在擁抱人人互聯新時代，傳輸電子郵件、社交媒體照片傳輸、蛋白質分子結構解析等過程中都會產生海量的非結構化數據（文本文件、電子表格等）。

然而，你絕不能任由這些數據“滿天飛”！所以，它們必須被計算機定期處理！那么，如何處理呢？

首先，embedding技術可以將這些數據轉化為“向量”。隨后，Milvus會存儲這些“向量”并為其建立索引，這就形成了傳說中的“向量數據庫”。

與現有的主要可用作處理結構化數據的關系型數據庫不同，Milvus在底層設計上就是為了處理由各種非結構化數據轉換而來的Embedding向量而生。

該數據庫可以對接包括圖片識別、視頻處理、聲音識別、自然語言處理等深度學習模型，從而為向量化后的非結構數據提供搜索分析服務。

你可以使用Milvus搭建符合個人場景需求的向量相似度檢索系統，具體可應用在以圖搜圖、視頻去重、音頻檢索、文本搜索等場景下。

3、快速入門：安裝Milvus

圖片

你需要首先明確的是：Milvus使用Docker Compose控制服務的啟動和暫停，過程包括：

• 新建工作目錄，下載YAML文件
• 啟動Milvus容器：

sudo docker-compose up -d

• 停止Milvus容器：

sudo docker-compose down

4、用例：以圖搜圖

Milvus官方還給出了以圖搜圖的用例，具體流程分為構建圖像向量庫和執行搜索：

圖片

1)構建圖像向量庫

首先準備圖像數據集，使用深度學習庫提取圖像特征，獲得每張圖像的特征向量，最后將特征向量存儲到Milvus數據庫中。

2)執行搜索

輸入一張待檢索圖像，經過深度學習庫獲取圖像對應的特征向量，然后將這個向量與Milvus中所有圖像的特征向量進行相似度對比，從而獲得距離最近的圖像結果。

5、整體性能夠硬，生態已成氣候

從上述的安裝與使用過程中我們不難看出，Milvus作為一款云原生向量數據庫，具備高可用、高性能、易拓展的特點，可用于海量向量數據的實時召回。

圖片

Github上也對其整體性能做出了完整總結：

• 高性能：性能高超，可對海量數據集進行向量相似度檢索。
• 簡化管理：專為數據科學工作流設計的豐富API；
• 高可用、高可靠：Milvus支持云上擴展，其容災能力能夠保證服務高可用；
• 高度可擴展和彈性：組件級可伸縮性使按需擴展和縮減成為可能。
• 混合查詢：Milvus支持在向量相似度檢索過程中進行標量字段過濾，實現混合查詢；
• 開發者友好：支持多語言、多工具Milvus生態系統；
• 社區支持，行業認可：擁有超過1000名企業用戶以及活躍的開源社區。

6、系統架構：四個層次

Milvus作為一款云原生向量數據庫，采用存儲與計算分離的架構設計，所有組件均為無狀態組件，極大增強系統彈性和靈活性。

圖片

整個系統架構可分為四個層次：

• 接入層：系統的門面，由一組無狀態proxy組成。對外提供用戶連接的endpoint，負責驗證客戶端請求并合并返回結果。
• 協調服務：系統的大腦，負責分配任務給執行節點。協調服務共有四種角色，分別為 root coord、data coord、query coord 和 index coord。
• 執行節點：系統的四肢，負責完成協調服務下發的指令和 proxy 發起的數據操作語言（DML）命令。執行節點分為三種角色，分別為 data node、query node 和 index node。
• 存儲服務：系統的骨骼，負責Milvus數據的持久化，分為元數據存儲（meta store）、消息存儲（log broker）和對象存儲（object storage）三個部分。

7、2.0重磅升級

在Milvus官網上，我們找到了Milvus1.0與2.0究竟有哪些區別，具體如下表：

圖片

事實上，自Milvus升級至2.0版本以來，仍在不斷改進優化，推出了諸如從文件中批量導入數據、基于磁盤的近似最近鄰（ANN）索引算法等新功能，也提升了元數據存儲、批量導入等性能。

遠的不說，從Milvus 2.2到Milvus 2.3版本都進行了哪些變化和升級呢？

Milvus 2.2提升了向量搜索的穩定性、搜索速度，具有靈活的擴縮容能力，提供了一系列新的 API，用于支持從文件中更有效率地批量導入數據。

此外，Milvus 2.2還修復了部分bug并進行了諸多改進以增強Milvus穩定性、可觀測性和性能。

而在2.3版本中，Milvus移除了Annoy索引，降低了維護成本，還會支持count接口，用于統計collection的行數。新增的count接口除了能計算collection行數外，還支持query的查詢表達式用于統計帶條件的行數。

8、用戶：使用Milvus，并不孤單

從最初的Milvus到2.3版本，每一次版本升級背后都離不開用戶的支持與建議。升級、迭代，每次更新過后，Milvus都會趨向于完美。

截至目前，GitHub在上已達到2.08萬星。因此，當在活躍的開源社區中使用Milvus時，你并不孤單！

參考資料：

https://www.yii666.com/blog/393941.html?actinotallow=onAll

https://github.com/milvus-io/milvus

https://blog.csdn.net/hello_dear_you/article/details/127841589