從檢索增強——RAG看檢索技術(shù)的發(fā)展原創(chuàng)

發(fā)布于 2024-10-9 09:48

瀏覽

0收藏

“ 檢索，一種世界性的難題 ”

檢索技術(shù)或者說搜索技術(shù)(雖然檢索與搜索有一定的區(qū)別)一直是一個世界級的難題，檢索技術(shù)可以說從人類出現(xiàn)就已經(jīng)開始了；只不過那時的檢索不叫檢索，叫找東西，只不過到二十一世紀(jì)之后，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)檢索成為了一個重要手段。

而今天我們就來談?wù)剻z索技術(shù)。

檢索

為什么標(biāo)題是從RAG看檢索技術(shù)？

RAG技術(shù)是在之前的文章中不只一次的介紹過，RAG是大模型技術(shù)的補充，大模型的表現(xiàn)在某種程度上依賴于RAG，而RAG最核心的一點就是更加高效和準(zhǔn)確的檢索。

但檢索技術(shù)卻不是因為RAG技術(shù)才出現(xiàn)的，在RAG技術(shù)出現(xiàn)之前，檢索技術(shù)用的最多的應(yīng)該就是搜索引擎了。

從檢索增強——RAG看檢索技術(shù)的發(fā)展-AI.x社區(qū)

從功能的角度出發(fā)，互聯(lián)網(wǎng)技術(shù)的發(fā)展特別是移動互聯(lián)網(wǎng)時代的來臨，互聯(lián)網(wǎng)每天都會產(chǎn)生大量的數(shù)據(jù)，而怎么把這些數(shù)據(jù)分門別類，讓需要的人快速從繁雜的數(shù)據(jù)中找到有用的東西，這是一個值得思考的問題。

而從技術(shù)的角度來說，在互聯(lián)網(wǎng)技術(shù)出現(xiàn)之前，數(shù)據(jù)或者說資料的管理方式主要是以紙質(zhì)文檔為主，而互聯(lián)網(wǎng)出現(xiàn)之后，數(shù)據(jù)主要以文件的形式存儲。

但做過技術(shù)的人都知道，文件存儲是一個費時又費力的東西；因此，這時一項偉大的發(fā)明出現(xiàn)了——那就是數(shù)據(jù)庫系統(tǒng)。

剛開始的數(shù)據(jù)庫系統(tǒng)是按照二維關(guān)系結(jié)構(gòu)構(gòu)建的關(guān)系數(shù)據(jù)庫系統(tǒng)，到現(xiàn)在也在大量的使用，比如常見的mysql和oracle等。

使用數(shù)據(jù)庫的好處是什么？

好處就是速度快，數(shù)據(jù)一目了然，操作簡單方便。

而隨著技術(shù)的發(fā)展，不但數(shù)據(jù)量越來越多，數(shù)據(jù)形式和格式也越來越復(fù)雜，特別是非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)式增長；因此，非結(jié)構(gòu)化數(shù)據(jù)的存儲需求越來越大，而且也出現(xiàn)了很多非結(jié)構(gòu)化數(shù)據(jù)存儲中間件，比如mongodb和redis等。

從檢索增強——RAG看檢索技術(shù)的發(fā)展-AI.x社區(qū)

而數(shù)據(jù)存儲是一方面，數(shù)據(jù)的檢索也是一方面；關(guān)系型數(shù)據(jù)庫的好處是一目了然，存儲也方便，但關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)檢索就沒有想象中的那么強大了。關(guān)系型數(shù)據(jù)庫只能進行一些簡單的字符匹配或模糊查詢，一旦涉及到復(fù)雜查詢就無能為力了。

而這時搜索中間件就出現(xiàn)了，比如ES——ElasticSearch，它就是嵌入了分詞的功能，根據(jù)某種算法實現(xiàn)完整語句的拆分，使得搜索能力相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫大大增強。

但同樣的是，ES的搜索能力依然有限，它們只能依靠純粹的字符匹配進行檢索；比如說讓你去圖書館找本書，不懂的人只能按照書名去找，而懂的人就可以找到類似的。

而且面對現(xiàn)實世界中復(fù)雜的各種關(guān)系，簡單的字符匹配顯然無法滿足我們的需求；因此，一種基于語義查詢的方式就出現(xiàn)了。

從檢索增強——RAG看檢索技術(shù)的發(fā)展-AI.x社區(qū)