成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐 原創(chuàng)

發(fā)布于 2024-11-28 16:17
瀏覽
0收藏

1、先從傳統(tǒng)思維的架構(gòu)設(shè)計說起

我們先來看一個場景:用戶輸入一個問題(Prompt)后,如何實現(xiàn)用戶問題的自動路由和查詢(比如:是 RAG 檢索還是 SQL 查詢)

  • 解決方案:意圖識別架構(gòu)設(shè)計

第一、對于用戶輸入的問題(Prompt),我們通過意圖識別模塊來判斷是需要路由給RAG 檢索還是路由給 SQL 查詢;

第二、意圖識別模塊接收用戶的問題(Prompt),然后將用戶的問題交給大模型去判斷分類;

第三、意圖識別架構(gòu)設(shè)計如下圖所示:

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐-AI.x社區(qū)

第四、大模型需要提前做 SFT Fine-tuning 微調(diào),目的是讓大模型知道什么問題屬于 RAG 檢索問題,什么問題屬于 SQL 查詢問題,F(xiàn)ine-tuning 微調(diào)的樣本數(shù)據(jù)格式如下:

examples =[
{
"inn":"我想知道東方阿爾法優(yōu)勢產(chǎn)業(yè)混合C基金,在2021年年度報告中,前10大重倉股中,有多少只股票在報告期內(nèi)取得正收益。",
"out":"rag_question***我想知道東方阿爾法優(yōu)勢產(chǎn)業(yè)混合C基金,在2021年年度報告中,前10大重倉股中,有多少只股票在報告期內(nèi)取得正收益。"
},
{
"inn":"森赫電梯股份有限公司產(chǎn)品生產(chǎn)材料是什么?",
"out":"rag_question***森赫電梯股份有限公司產(chǎn)品生產(chǎn)材料是什么?"
},
{
"inn":"20210930日,一級行業(yè)為機(jī)械的股票的成交金額合計是多少?取整。",
"out":"agent_question***20210930日,一級行業(yè)為機(jī)械的股票的成交金額合計是多少?取整。"
},
...
  ]


第五、意圖識別模塊識別結(jié)果后,通過在代碼中硬編碼 if...else 對識別后的分類進(jìn)行不同的后續(xù)處理,代碼如下:

# 如果是 RAG 相關(guān)的問題
if intent =="rag_question":
    result = self.rag.get_result(questinotallow=question)
return result


# 如果是 Agent 相關(guān)的問題
elif intent =="agent_question":
    result = self.agent.get_result(input=question)
return result


# 其他類問題
else:
    result = self.chat.invoke(input=question).content
return result
  • 意圖識別架構(gòu)設(shè)計的問題

從上述實現(xiàn)流程我們可以看到,意圖識別的架構(gòu)設(shè)計本質(zhì)還是傳統(tǒng)的開發(fā)模式,也就是靜態(tài)業(yè)務(wù)流程編排的面向過程架構(gòu)設(shè)計范式,也就是說程序執(zhí)行的每一個步驟還是由開發(fā)者精準(zhǔn)控制,大模型此刻只是扮演者輔助工具角色,用于問題分類,這種面向過程的架構(gòu)設(shè)計范式有3個問題:

第一、若意圖識別出現(xiàn)偏差,后續(xù)的處理流程將失去效果,結(jié)果必然會出現(xiàn)錯誤。

第二、盡管我們可以在 if...else... 結(jié)構(gòu)中加入修正策略,比如:當(dāng) RAG 檢索失敗時轉(zhuǎn)而查詢 SQ L數(shù)據(jù)庫,但面對復(fù)雜的需求,這種策略的編寫與維護(hù)成本將呈指數(shù)級增長。

第三、最關(guān)鍵的是,這種處理方式絲毫體現(xiàn)不出智能化的特點。

那么如何基于 AI Agent 智能體的架構(gòu)設(shè)計對用戶問題(Prompt)自主判斷和自主解決呢?

2、基于 AI Agent 智能體的新架構(gòu)設(shè)計方案

AI Agent 智能體由大模型推理能力、Planning 規(guī)劃能力、Tools 工具使用能力、Action 行動能力、Memory 記憶能力構(gòu)成,如下圖所示:

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐-AI.x社區(qū)

從上圖我們可以看到,一旦我們?yōu)?AI Agent 智能體配備了適當(dāng)?shù)墓ぞ撸隳芙柚竽P偷耐评砟芰Γ毩⒌剡M(jìn)行規(guī)劃和行動。因此,我們首先需要解決的問題是如何為 AI Agent 智能體配備必要的工具。

第一、為 AI Agent 智能體配備工具

這個案例我們的需求是結(jié)構(gòu)化的 SQL 查詢和非結(jié)構(gòu)化的 RAG 檢索,我們給 AI Agent 智能體配備這兩個工具:

1.創(chuàng)建 AI Agent 的管理類

import logging
import datetime
from langgraph.prebuilt import create_react_agent
from langchain.tools.retriever import create_retriever_tool
from langchain_community.utilities importSQLDatabase
from langchain_community.agent_toolkits importSQLDatabaseToolkit
from rag.rag importRagManager
import settings




classFinanceBotEx:
def__init__(self, llm=settings.llm, chat=settings.chat, embed=settings.embed):
        self.llm = llm
        self.chat = chat
        self.embed = embed
        self.tools =[]


        self.rag =RagManager(llm=llm, embed=embed)

2.創(chuàng)建 SQL 查詢工具

為 FinanceBotEX 類添加 SQL 查詢工具。

def init_sql_tool(self, path):
        # 連接數(shù)據(jù)庫
        db = SQLDatabase.from_uri(f"sqlite:///{path}")
        toolkit = SQLDatabaseToolkit(db=db, llm=self.llm)
        sql_tools = toolkit.get_tools()  # 工具


        return sql_tools

3.創(chuàng)建 RAG 檢索工具

為 FinanceBotEX 類添加 RAG 檢索工具。

def init_rag_tools(self):
        # 給大模型 RAG 檢索器工具
        retriever = self.rag.get_retriever()
        retriever_tool = create_retriever_tool(
            retriever=retriever,
            name="rag_search",
            descriptinotallow="按照用戶的問題搜索相關(guān)的資料,對于招股書類的問題,you must use this tool!",
        )
        return retriever_tool

第二、通過 System Prompt 告訴 AI Agent 智能體的工作邏輯

為 FinanceBotEX 類添加 System Prompt 工作指令。

def create_prompt():
        system_prompt = """你是一位金融助手,可以幫助用戶查詢數(shù)據(jù)庫中的信息。
            你要盡可能的回答用戶提出的問題,為了更好的回答問題,你可以使用工具進(jìn)行多輪的嘗試。


            # 關(guān)于 retriever_tool工具的使用:
            1、你需要結(jié)合對檢索出來的上下文進(jìn)行回答問題。
            2、如果你不知道答案,就說你不知道。請使用不超過三句話的簡潔回答。


            # 關(guān)于 sql_tools類工具的使用: 
            ## 工具使用規(guī)則                                     
            1、你需要根據(jù)用戶的問題,創(chuàng)建一個語法正確的 SQLite 查詢來運行,然后查看查詢的結(jié)果并返回答案。
            2、除非用戶指定了他們希望獲得的特定數(shù)量的示例,否則總是將查詢限制為最多5個結(jié)果。
            3、您可以按相關(guān)列對結(jié)果進(jìn)行排序,以返回數(shù)據(jù)庫中最有趣的示例。
            4、永遠(yuǎn)不要查詢指定表的所有列以避免查詢性能問題,你只查詢給定問題的相關(guān)列即可。
            5、你必須在執(zhí)行查詢之前仔細(xì)檢查查詢。如果執(zhí)行查詢時出現(xiàn)錯誤,請重新編寫查詢并重試。
            6、請勿對數(shù)據(jù)庫進(jìn)行任何 DML 語句(INSERT,UPDATE,DELETE,DROP等)。


            ## 工具使用過程
            1、首先,你應(yīng)該始終查看數(shù)據(jù)庫中的表,看看可以查詢什么,這一步驟很重要,注意不要跳過。
            2、然后,你應(yīng)該查詢最相關(guān)表的 schema。


            ## 工具使用注意事項:
            1、如果生成的 SQL 語句中,字段帶有英文括號(),請使用雙引號包裹起來,例如:收盤價(元) 雙引號包裹為 "收盤價(元)"。
            2、如果查詢過程中 SQL 語句有語法錯誤,減少查詢量,總體查詢次數(shù)應(yīng)控制在15次以內(nèi)。


            # 關(guān)于你的思考和行動過程,請按照如下格式:
            問題:你必須回答的輸入問題
            思考:你應(yīng)該總是考慮該怎么做
            行動:你應(yīng)該采取的行動,應(yīng)該是以下工具之一:{tool_names}
            行動輸入:行動的輸入
            觀察:行動的結(jié)果
            ... (這個思考/行動/行動輸入/觀察可以重復(fù)N次)
            思考: 我現(xiàn)在知道最終答案了
            最終答案:原始輸入問題的最終答案




            Begin!


            """
        return system_prompt

第三、創(chuàng)建 AI Agent 智能體

在配置好所需的工具和 System Prompt 之后,我們可以創(chuàng)建一個 AI Agent 智能體,并將預(yù)先準(zhǔn)備好的工具和 System Prompt 傳遞給它。

接著,為 FinanceBotEx 類進(jìn)行擴(kuò)展。

def init_agent(self):
#初始化 RAG 工具
    retriever_tool = self.init_rag_tools()


#初始化 SQL 工具
    sql_tools = self.init_sql_tool(settings.SQLDATABASE_URI)


#創(chuàng)建系統(tǒng) Prompt 提示語
    system_prompt = self.create_prompt()


#創(chuàng)建Agent
    agent_executor = create_react_agent(
        self.chat,
        tools=[retriever_tool]+ sql_tools,
        state_modifier=system_prompt
)
return agent_executor

第四、 AI Agent 智能體運行處理邏輯

為 FinanceBotEx 類繼續(xù)添加運行處理邏輯:

def handle_query(self, example_query):


# 流式處理事件
events = self.agent_executor.stream(
  {
    "messages":[("user", example_query)]},
            stream_mode="values",
  )


# 打印流式事件的消息
for event in events:
    event["messages"][-1].pretty_print()


return event["messages"][-1].content

第五、 AI Agent 智能體運行結(jié)果

在 Python 文件中繼續(xù)添加測試函數(shù):

# 測試 FinanceBotEx 主流程
def test_financebot_ex():
from finance_bot_ex importFinanceBotEx
    llm, chat, embed = get_qwen_models()
    financebot =FinanceBotEx(llm=llm, chat=chat, embed=embed)


    example_query ="20210304日,一級行業(yè)為非銀金融的股票的成交量合計是多少?取整。"


    financebot.handle_query(example_query)


if __name__ =="__main__":
# test_rag()
# test_import()
    test_financebot_ex()

運行結(jié)果如下:

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐-AI.x社區(qū)

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐-AI.x社區(qū)

通過日志可以看到,AI Agent 智能體收到問題后,先去 SQL 數(shù)據(jù)庫中查詢看有哪些表可能有這些數(shù)據(jù),通過返回的表信息自主實現(xiàn)對應(yīng)的 SQL 語句,然后查詢結(jié)果后給出答案。

如果將上面的問題變成如下問題:

example_query = "根據(jù)聯(lián)化科技股份有限公司招股意見書,精細(xì)化工產(chǎn)品的通常利潤率是多少?"

運行結(jié)果如下:

基于 AI Agent 智能體架構(gòu)落地復(fù)雜問答系統(tǒng)的案例設(shè)計與實踐-AI.x社區(qū)


通過日志可以看到,AI Agent 智能體對于這個問題認(rèn)為應(yīng)該直接去 RAG 中搜索,所以直接調(diào)用工具 rag_search。

3、基于 AI Agent 智能體的新架構(gòu)設(shè)計方案總結(jié)

  • AI Agent 智能體的架構(gòu)設(shè)計是一種面向目標(biāo)架構(gòu)設(shè)計的新范式,它的架構(gòu)設(shè)計理念與傳統(tǒng)面向過程架構(gòu)設(shè)計范式存在顯著差異:

第一、在傳統(tǒng)架構(gòu)設(shè)計中,需要對程序的每一個步驟進(jìn)行精確的控制,技靜態(tài)業(yè)務(wù)流程編排;

第二、AI Agent 智能體的核心理念是通過提示詞(Prompt)向大模型傳達(dá)運行規(guī)則,隨后大模型自主進(jìn)行思考和執(zhí)行操作。

  • 使用 AI Agent 智能體的過程涉及以下4個步驟:

第一、首先構(gòu)建所需的工具。

第二、接著設(shè)計相應(yīng)的提示詞(Prompt)。

第三、然后創(chuàng)建 AI Agent Agent,并將這些工具和提示詞賦予它。

第四,通過 AI Agent 智能體的流(stream)功能來處理用戶的輸入問題。


本文轉(zhuǎn)載自公眾號玄姐聊AGI  作者:玄姐

原文鏈接:??https://mp.weixin.qq.com/s/2wkFHLpyteaD7NtRTkF9XA??

?著作權(quán)歸作者所有,如需轉(zhuǎn)載,請注明出處,否則將追究法律責(zé)任
標(biāo)簽
收藏
回復(fù)
舉報
回復(fù)
相關(guān)推薦
主站蜘蛛池模板: 精品国产一区二区三区观看不卡 | 亚洲精品视频在线看 | 国产精品国产三级国产aⅴ无密码 | 天天综合网7799精品 | 欧美一二三 | 成人片免费看 | 亚洲精品在线看 | 精品国产31久久久久久 | 91精品国产91久久综合桃花 | 91福利电影在线观看 | 成人自拍av | 超碰97人人人人人蜜桃 | 老司机午夜性大片 | 日韩在线欧美 | 成人精品一区二区三区 | 亚洲逼院 | 国产在线观看一区 | 91精品一区二区三区久久久久 | 国产一级片一区二区三区 | 亚洲一区国产精品 | 日韩欧美中文在线 | 成人在线看片 | 午夜国产| 亚洲精品视频一区 | 亚洲h色 | 日p视频免费看 | 久久久久久一区 | 国产成人免费视频网站高清观看视频 | 午夜精品一区二区三区在线视频 | 欧美vide| 粉嫩粉嫩芽的虎白女18在线视频 | 亚洲精品综合一区二区 | 日韩不卡一区二区三区 | 国产精品99久久久久久www | 国产在线精品一区二区三区 | 欧美精品一区二区免费 | 亚洲色综合 | 成人一区二区在线 | 日韩中文字幕在线播放 | 日日日日操 | 最新国产视频 |