Llama3實操增強的三種方式：RAG/Agent/Function Calling?。。? 原創
1、Llama 3 的 RAG 增強
以下 Github 鏈接展示了從頭開始使用 LangGraph 和 Llama3-8B 構建可靠的智能體。它將3種先進 RAG 技術（自適應 RAG、糾正性 RAG和自我 RAG）的思想結合起來，形成 LangGraph 中的單一控制流程。
https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_rag_agent_llama3_local.ipynb
方式一：自適應 RAG 路由，將問題路由到不同的檢索方法。
方式二：糾正性 RAG 后備方案，如果文檔與查詢不相關，則回退到網頁搜索 Web Browser。
方式三：自我 RAG 進行自我糾錯，修正包含幻覺或未回答問題的答案。
2、Llama 3 的微調增強
眾所周知，LLaMA-Factory 微調，已經支持 Llama 3，如下所示：
Github 地址：https://github.com/hiyouga/LLaMA-Factory
另外 Colab 筆記本中將 Llama-3 微調速度提高 2倍以上，鏈接如下所示：
https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing3、Llama 3 的 Function Calling 增強
目前官方的答復是 Llama 3 暫時不支持 Function Calling 的功能，也就表面看起來不支持 Agent 智能體功能，如下圖所示：
不過，經過我們實踐摸索，變形支持 Function Calling 函數調用的方法，也就是采用 Function Calling 數據微調后的 Llama 3，Prompt 提示詞模板如下圖所示：
<|begin_of_text|><|start_header_id|>function_metadata<|end_header_id|>
You have access to the following functions. Use them if required:
[
{
"type": "function",
"function": {
"name": "get_stock_price",
"description": "Get the stock price of an array of stocks",
"parameters": {
"type": "object",
"properties": {
"names": {
"type": "array",
"items": {
"type": "string"
},
"description": "An array of stocks"
}
},
"required": [
"names"
]
}
}
},
{
"type": "function",
"function": {
"name": "get_big_stocks",
"description": "Get the names of the largest N stocks by market cap",
"parameters": {
"type": "object",
"properties": {
"number": {
"type": "integer",
"description": "The number of largest stocks to get the names of, e.g. 25"
},
"region": {
"type": "string",
"description": "The region to consider, can be \"US\" or \"World\"."
}
},
"required": [
"number"
]
}
}
}
]<|eot_id|><|start_header_id|>user<|end_header_id|>
Get the names of the five largest stocks by market cap<|eot_id|><|start_header_id|>assistant<|end_header_id|>
Generated Response:
{
"name": "get_big_stocks",
"arguments": {
"number": 5,
"region": "US"
}
}<|eot_id|>4、Llama 3 實操技術選型
AI 大模型參數大小的技術選型可以參考如下實踐原則：
第一、歸納分類任務，大模型參數推薦 3B；
第二、翻譯任務，大模型參數推薦 7B；
第三、意圖識別任務，大模型參數推薦 13B；
第四、Function Calling Action 任務，大模型參數推薦 70B。
以上這些推薦都是針對頂尖的通用大模型而言，沒有經過 Fine-tuning 等微調，微調后的或者 RAG 后的 大模型 AGI 能力會增強，相應參數會變化。
本文轉載自公眾號玄姐聊AGI 作者：玄姐
