編輯 | 言征

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

盡管RAG通過(guò)增強(qiáng)生成式AI應(yīng)用的專業(yè)化和準(zhǔn)確性帶來(lái)了顯著的好處，但它也帶來(lái)了一系列復(fù)雜的挑戰(zhàn)。

檢索增強(qiáng)生成（RAG）正迅速成為生成式AI應(yīng)用的一個(gè)必要元素。RAG通過(guò)從基礎(chǔ)模型的訓(xùn)練語(yǔ)料庫(kù)之外的外部數(shù)據(jù)存儲(chǔ)中增強(qiáng)相關(guān)信息，賦予預(yù)訓(xùn)練AI模型專業(yè)化的超級(jí)能力，使其在垂直或特定任務(wù)應(yīng)用中精確和準(zhǔn)確。然而，RAG也為您的GenAI堆棧引入了關(guān)于流量、安全和性能的新要求。隨著RAG的到來(lái)，企業(yè)需要用更復(fù)雜的AI基礎(chǔ)設(shè)施來(lái)解決新的復(fù)雜性和挑戰(zhàn)。

1.RAG為什么火

RAG的工作原理是通過(guò)增強(qiáng)AI推理，使用來(lái)自不包含在基礎(chǔ)模型訓(xùn)練語(yǔ)料庫(kù)中的外部數(shù)據(jù)存儲(chǔ)的相關(guān)信息。這種方法為AI模型提供了特定領(lǐng)域的知識(shí)，而不需要重新訓(xùn)練通用模型。一般來(lái)說(shuō)，RAG模型生成的響應(yīng)在上下文中更豐富、更準(zhǔn)確、事實(shí)一致性更強(qiáng)。RAG甚至可以用于提高開(kāi)放域AI應(yīng)用的性能。RAG還通過(guò)減少對(duì)模型內(nèi)數(shù)據(jù)存儲(chǔ)的需求，使AI推理更有效率。這有幾個(gè)有益的溢出效應(yīng)。

RAG模型可以更小、更高效，因?yàn)樗鼈儾恍枰趨?shù)中編碼所有可能的知識(shí)。相反，它們可以根據(jù)需要?jiǎng)討B(tài)獲取信息。這可以導(dǎo)致內(nèi)存需求減少和計(jì)算成本降低，因?yàn)槟Ｐ筒恍枰趦?nèi)部存儲(chǔ)和處理大量信息。

• 較低的訓(xùn)練成本：雖然檢索機(jī)制主要在推理期間使用，但能夠訓(xùn)練依賴于外部數(shù)據(jù)源的較小模型可以降低整體培訓(xùn)成本。較小的模型通常需要較少的計(jì)算能力和時(shí)間來(lái)訓(xùn)練，從而節(jié)省成本。
• 可擴(kuò)展性：RAG架構(gòu)可以通過(guò)在生成模型和檢索系統(tǒng)之間分布負(fù)載來(lái)更有效地?cái)U(kuò)展。這種分離允許更好的資源分配和優(yōu)化，減少任何單個(gè)組件的總體計(jì)算負(fù)擔(dān)。
• 輕松更新：由于RAG使用可以輕松更新的外部知識(shí)庫(kù)，因此無(wú)需頻繁地重新訓(xùn)練整個(gè)模型以納入新信息。這減少了持續(xù)、昂貴的再培訓(xùn)過(guò)程的需求，允許成本高效的模型知識(shí)更新。
• 實(shí)時(shí)相關(guān)性：由于訓(xùn)練模型所需的時(shí)間，許多類型的數(shù)據(jù)相對(duì)較快地過(guò)時(shí)。通過(guò)實(shí)時(shí)抓取數(shù)據(jù)，RAG確保用于生成的信息始終是最新的。這也使GenAI應(yīng)用更適合實(shí)時(shí)任務(wù)，如汽車(chē)中的逐轉(zhuǎn)向指導(dǎo)或天氣報(bào)告，僅舉兩個(gè)例子。

雖然RAG的好處是顯而易見(jiàn)的，但添加一個(gè)有效的查詢、路由和流量管理新層增加了復(fù)雜性和安全挑戰(zhàn)。

2.流量管理

RAG的一個(gè)主要挑戰(zhàn)是管理流量的復(fù)雜性增加。RAG架構(gòu)依賴于實(shí)時(shí)檢索相關(guān)文檔或信息。這可能會(huì)導(dǎo)致數(shù)據(jù)流量大幅增加，如果不加以適當(dāng)管理，可能會(huì)導(dǎo)致瓶頸。這也意味著應(yīng)用程序的性能不僅取決于最終用戶從延遲和響應(yīng)性角度體驗(yàn)到的內(nèi)容，還取決于信息質(zhì)量。如果RAG速度慢，GenAI可能仍然響應(yīng)，但輸出質(zhì)量較低。

3.安全和合規(guī)性問(wèn)題

將RAG集成到GenAI應(yīng)用中時(shí)，安全是另一個(gè)主要關(guān)注點(diǎn)。檢索通常需要訪問(wèn)專有數(shù)據(jù)庫(kù)或知識(shí)庫(kù)，增加了潛在的攻擊面。確保這些數(shù)據(jù)源的完整性和安全性對(duì)于防止數(shù)據(jù)泄露或未經(jīng)授權(quán)的訪問(wèn)至關(guān)重要。如果被訪問(wèn)的數(shù)據(jù)受到金融或醫(yī)療保健行業(yè)等監(jiān)管要求的約束，RAG還可能引入新的合規(guī)性問(wèn)題。RAG層通常是這些數(shù)據(jù)的邏輯位置，但這也意味著RAG數(shù)據(jù)庫(kù)必須符合所有必要的法規(guī)（HIPAA、Gramm-Leach Bliley、SOC2等）。

團(tuán)隊(duì)?wèi)?yīng)采用強(qiáng)大的身份驗(yàn)證和授權(quán)機(jī)制來(lái)保護(hù)其RAG基礎(chǔ)設(shè)施和數(shù)據(jù)檢索過(guò)程。這也意味著為訪問(wèn)RAG堆棧的任何服務(wù)（內(nèi)部或外部）采用強(qiáng)大的API安全。對(duì)RAG數(shù)據(jù)進(jìn)行傳輸和靜止時(shí)的加密可以保護(hù)敏感信息。由于RAG是大部分敏感數(shù)據(jù)所在的地方，因此這也是實(shí)施更嚴(yán)格的身份驗(yàn)證策略和零信任部署的好地方。

4.數(shù)據(jù)質(zhì)量和相關(guān)性

RAG系統(tǒng)的有效性在很大程度上取決于它檢索的數(shù)據(jù)質(zhì)量。質(zhì)量差或不相關(guān)的數(shù)據(jù)可能會(huì)導(dǎo)致生成模型輸出不準(zhǔn)確或無(wú)意義。對(duì)于實(shí)時(shí)應(yīng)用，數(shù)據(jù)的時(shí)效性也至關(guān)重要。如果RAG系統(tǒng)是從第三方數(shù)據(jù)源拉取的，那么GenAI應(yīng)用就會(huì)受到供應(yīng)鏈數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)的影響。對(duì)于企業(yè)應(yīng)用或醫(yī)學(xué)、法律等敏感領(lǐng)域的應(yīng)用，對(duì)由于數(shù)據(jù)質(zhì)量差而導(dǎo)致的不良響應(yīng)的容忍度幾乎為零。

為了克服這一點(diǎn)，團(tuán)隊(duì)?wèi)?yīng)投資于維護(hù)高質(zhì)量和最新的數(shù)據(jù)源，并構(gòu)建帶有冗余質(zhì)量檢查的自動(dòng)化數(shù)據(jù)管道。他們還應(yīng)該持續(xù)監(jiān)控用戶行為和反饋，以發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題。對(duì)系統(tǒng)輸出的連續(xù)監(jiān)控和評(píng)估也可以提供需要改進(jìn)的領(lǐng)域的見(jiàn)解。

5.不要被RAG搞得精疲力盡

如果你正在提供GenAI應(yīng)用程序，您可能已經(jīng)在現(xiàn)在或?qū)?lái)的某個(gè)時(shí)候使用了RAG。好處是巨大的。然而，成功的RAG推出需要規(guī)劃和思考。盡管RAG通過(guò)增強(qiáng)生成式AI應(yīng)用的專業(yè)化和準(zhǔn)確性帶來(lái)了顯著的好處，但它也帶來(lái)了一系列復(fù)雜的挑戰(zhàn)。有效的流量管理、嚴(yán)格的安全措施、性能優(yōu)化、確保數(shù)據(jù)質(zhì)量和處理集成復(fù)雜性對(duì)于在GenAI堆棧中成功實(shí)施RAG至關(guān)重要。對(duì)于正在努力解決GenAI挑戰(zhàn)的應(yīng)用程序交付團(tuán)隊(duì)來(lái)說(shuō)，RAG是一個(gè)強(qiáng)大的方法，可以使AI應(yīng)用程序中的幾乎所有內(nèi)容都運(yùn)行得更好——只要有適當(dāng)?shù)臏?zhǔn)備和心態(tài)。

本文轉(zhuǎn)載自??51CTO技術(shù)棧??，作者：言征