模型概述

Megrez-3B-Omni是由無問芯穹研發的端側全模態理解模型，基于無問大語言模型Megrez-3B-Instruct擴展，同時具備圖片、文本、音頻三種模態數據的理解分析能力，具體模型參數如下表所示。

Megrez-3B-Omni在并未犧牲模型的文本處理能力的前提下，在三個模態上相較于同等參數模型，均取得較好的效果。

圖源：https://internvl.github.io/blog/2024-12-05-InternVL-2.5/

注意：下面的文本、圖像、語音評測均基于https://huggingface.co/spaces/Infinigence/Megrez-3B-Omni

文本測試

依舊老三樣，看看是否可以解決。

• 9?.9和9.11誰大的問題
  正確，回答十分簡潔，因此又追問了一下為什么，回答的很好，解釋思路也有點奇特，是按照數值范圍來比較的。
• 用水來兌水，得到的是濃水還是稀水
  正確，理解的問題的關鍵，水兌水，還是水。
• 小紅有2個兄弟，3個姐妹，那么小紅的兄弟有幾個姐妹
  錯誤，沒有理解小紅是女生，當然這道題本身也有爭議，很多人都說應該分開討論，分別討論小紅是男生和女生的情況。不過有意思的是，他先回答的是1，最后又糾正成3。從文本的評測榜單上來看，Megrez-3B-Omni在數學上還是有一些欠缺的。但話說回來，3B模型對于數學還是精力有限，太難的問題還是推薦大家用32B以上的模型。
• 那道倫理、生物、數學問題
  這道題算是比較難的了，雖然沒回答對，但是可以看出安全對齊的還是不錯的，想了解這道題，見??一道涉及數學、生物、倫理的AI測試題，來測測各家大模型的推理能力??

其他問題，大家自測吧，我整體的體驗效果還不錯，對于小參數模型來說，還是不錯的。

圖像測試

• 測試一下單圖片信息抽取功能
  input：誰（姓名）幾點出發，從哪兒到哪兒，并且花了多少錢
  結果：正確
• 測試一下單圖片信息抽取+計算功能
  input：請逐步詳細分析，告訴我在中文數據和英文數據分別占比是多少，并且告訴我總和
• 結果：正確



• 測試一下單圖片理解功能
  input：請逐步詳細分析，這張圖片里是有兩只狗，對嗎
  結果：一開始說是，但后面又答對了，說一只貓一只狗。
• 測試一下單圖片手寫ORC功能
  input：請逐步詳細分析，輸出圖片中的文字內容
  結果：輸出結果丟字了，官方也說了OCR場景下開啟采樣可能會引入語言模型幻覺導致的文字變化，可考慮關閉采樣進行推理，但關閉采樣可能引入模型復讀
• 測試一下單圖片表格結構化輸出
  input：識別圖片中表格內容，并以結構化格式輸出
  結果：正確，不過我這里貼的是簡單表，復雜表的話，效果不好。當然好像現在復雜表的識別，模態大模型包括4o的效果都不好。

當前版本模型暫時不支持多圖，就沒測試，內部消息說下一版本會支持多圖和視頻（這一版本模型訓練時多圖數據沒加太多）。

此外篇幅有限，更多的能力大家自己測測看看吧。

語音測試

• 語音轉文本
  結果：正確
• 語音問答
  結果正確，可以理解語音內容

  

我在電腦端，音頻測試有點麻煩，就簡單測了幾個，其他語音內容大家就自己測試吧。

Web-Search部分

其實讓我感興趣的還有一個web-search方案，里面還是有一些細節內容的，并不是一個簡單的RAG總結項目。比如：工程中會增加一步摘要過程，去除無效的網頁信息，并將內容cache下來，以便提高模型回復效果等。

Github: https://github.com/infinigence/InfiniWebSearch

項目是基于Megrez-3B-Instruct模型，進行的web-search搭建，做了一些適配Search的專項訓練，

• 模型調用Search Tool的時機挺準確的。做過相關內容的同學一定知道，模型在Search工具調用上很容易出現一直調用工具的情況，但實際上一些日常問題是不需要調用搜索引擎的，大模型可以直接回答甚至效果更好。

• 多輪對話的理解不錯。我們也知道多輪對話理解是大模型的強項，但在帶檢索的過程當然，就需要模型對整個對話有很好的理解能力。

• 當然給出帶ref格式的輸出內容，這個部分是模型針對性訓練后才用的能力。

看他的工程，里面還是有很多有意思的細節內容，并不是一個簡單的RAG總結項目。比如：工程中會增加一步摘要過程，去除無效的網頁信息，并將內容cache下來，以便提高模型回復效果等。

Github: https://github.com/infinigence/InfiniWebSearch

項目的整體流程如下圖所示，

• 判斷是調用工具回答還是大模型直接回答
• 若調用工具回答則對用戶Query改寫，生成相應的搜索關鍵詞
• 通過查詢Query獲取相關的網頁文本內容
• 根據Query和各個網頁內容生成對應的summary，無關網頁或者內容會以“無相關信息”替代
• 在根據summary和Query終結生成答案。

SUMMARY_PROMPT_TEMPLATE = (
    '從信息中總結能夠回答問題的相關內容，要求簡明扼要不能完全照搬原文。直接返回總結不要說其他話，如果沒有相關內容則返回"無相關內容", 返回內容為中文。\n\n'
    "<問題>{question}</問題>\n"
    "<信息>{context}</信息>"
)

OBSERVATION_PROMPT_TEMPLATE = (
    "You will be given a set of related contexts to the question, "
    "each starting with a reference number like [[citation:x]], where x is a number. "
    "Please use the context and cite the context at the end of each sentence if applicable."
    "\n\n"
    "Please cite the contexts with the reference numbers, in the format [citation:x]. "
    "If a sentence comes from multiple contexts, please list all applicable citations, like [citation:3][citation:5]. "
    "If the context does not provide relevant information to answer the question, "
    "inform the user that there is no relevant information in the search results and that the question cannot be answered."  # noqa: E501
    "\n\n"
    "Other than code and specific names and citations, your answer must be written in Chinese."
    "\n\n"
    "Ensure that your response is concise and clearly formatted. "
    "Group related content together and use Markdown points or lists where appropriate."
    "\n\n"
    "Remember, summarize and don't blindly repeat the contexts verbatim. And here is the user question:\n"
    "{question}\n"
    "Here is the keywords of the question:\n"
    "{keywords}"
    "\n\n"
    "Here are the set of contexts:"
    "\n\n"
    "{context}"
)

整個項目的啟動也是十分簡單，三步走，你就可以得到一個本地部署的kimi啦：

• 啟動檢索

export SERPER_API_KEY=$YOUR_API_KEY
cd infini_websearch/service
python search_service.py --port 8021 --chrome ./chrome-linux64/chrome --chromedriver ./chromedriver-linux64/chromedriver

• 啟動模型

python -m vllm.entrypoints.openai.api_server --served-model-name megrez --model $MODEL_PATH --port 8011 --max-seq-len 4096 --trust_remote_code

• 啟動Demo

python gradio_app.py -m $MODEL_PATH --port 7860

PS：其他詳細內容自己去看Github，比如摘要字數、關注的對話輪等等。

本文轉載自 ??NLP工作站??，作者： 劉聰NLP