金融大語言模型（FinLLMs）在金融服務的某些領域顯示出巨大的潛力。多模態金融基礎模型（MFFMs）可以理解多模態金融數據，包括基礎數據、市場數據、數據分析、宏觀經濟和替代數據（例如，自然語言、音頻、圖像和視頻）。

本文在MFFM Workshop 上介紹了多模態金融基礎模型（MFFMs）的進展、前景和挑戰，強調了哥倫比亞大學SecureFinAI實驗室的FinAgents研究。列出了多模態金融數據和數據中心方法，描述了多模態金融應用，展望AI代理在金融應用中的潛力。

摘要

金融大語言模型（FinLLMs）在金融服務的某些領域顯示出巨大的潛力。多模態金融基礎模型（MFFMs）可以理解多模態金融數據，包括基礎數據、市場數據、數據分析、宏觀經濟和替代數據（例如，自然語言、音頻、圖像和視頻）。本文重點介紹了哥倫比亞大學安全AI實驗室正在進行的FinAgents研究。MFFMs將使我們更深入地了解與眾多金融任務和數據相關的潛在復雜性，從而簡化金融服務和投資流程的運作。

簡介

多模態金融基礎模型（MFFMs）能夠處理多種金融數據，包括結構化和非結構化數據。MFFMs面臨可重復性、透明性、隱私和倫理等挑戰，現有模型往往為“黑箱”。存在“模型自相殘殺”和“開放洗白”的問題，許多模型缺乏透明度。

本文在MFFM Workshop 上介紹了多模態金融基礎模型（MFFMs）的進展、前景和挑戰，強調了哥倫比亞大學SecureFinAI實驗室的FinAgents研究。列出了多模態金融數據和數據中心方法，描述了多模態金融應用，展望AI代理在金融應用中的潛力。

提出使用模型開放框架和代理協議構建金融智能生態系統，但面臨數據限制、成本、監管復雜性、推理能力和基準框架等挑戰。綜述了現有關于金融大語言模型（FinLLMs）的相關研究，指出缺乏對多模態金融數據和模型的全面評估。

以MFFM基礎模型為例，使用QLoRA方法微調“沃倫·巴菲特”模型的成本低于$100，而咨詢十位頂級投資者的數字化身成本為$5000。

術語

多模態金融基礎模型（MFFMs）是基礎模型與金融的交叉領域。為了幫助不同背景的讀者，文中提供了兩個術語表。

多模態金融數據的數據中心方法

多模式金融數據譜

多模態數據在商業、金融、會計和審計中常見，包括：

• 文本數據：如金融新聞、報告和社交媒體，反映市場情緒。
• 數值數據：如股價和經濟指標，供市場預測使用。
• 圖表數據：可視化市場趨勢，便于理解市場動態。
• 表格數據：結構化財務數據，如資產負債表和收入表。
• 時間序列數據：按時間順序的數據點，展示財務指標變化。
• 視覺數據：圖像和視頻，提供復雜市場事件的深入見解。
• 音頻數據：如財務播客和電話會議錄音，影響市場感知。

多模態金融數據是上述單一數據類型的組合，例如，財報電話會議包含音頻和文本轉錄。

盈利電話會議（ECCs）

盈利電話會議（ECC）是公共公司每季度舉行的電話或網絡會議，旨在向利益相關者提供最新財務狀況。會議通常由CEO/CFO進行財務總結，隨后進行問答環節，分析師和投資者提問。ECC的發布與市場反應相關，成為分析市場變化的重要資源。MDRM是一個包含576個ECC的代表性數據集，涵蓋2017年280家S&P 500公司的數據，存儲量為5.7GB。

當前ECC數據分析面臨挑戰，包括數據集規模有限、行業覆蓋不足，以及音頻與文本對齊不精確。需要建立數據集策劃管道，以獲取、組織、分割和標注ECC數據，提升金融應用的有效性。

貨幣政策會議（MPC）

貨幣政策會議（MPC）由中央銀行定期召開，討論經濟狀況、貨幣政策及風險評估。MONOPOLY數據集包含340個來自六個國家中央銀行的MPC實例，大小為180 GB，總時長15,729分鐘，平均每次53分鐘。每次MPC包括約10分鐘的演示和40分鐘的問答，數據包括音頻、文本和視頻三種形式。

數據集通過BeautifulSoup抓取MPC日期、音頻、視頻和PDF轉錄文本，文本數據通過Urllib提取。該數據集被用于聯合建模音頻、文本和視頻特征，以預測經濟指標。使用MPC數據面臨的挑戰包括音頻、文本和視頻的高效存儲和精確對齊，需建立數據管理管道以推動方法論發展。

財務報告

財務報告是公司財務活動、績效、管理討論及審計財務報表的正式文件。常見的財務報告包括SEC要求的10-K、10-Q、DEF-14A、8-K等文件。公司發布的文件有收益發布和年報，第三方分析報告如Zacks報告和賣方經紀人報告。報告在發布頻率、發布者和重點領域上有所不同。投資者可根據需求訪問不同公司的財務報告，以評估公司狀況和市場趨勢。政府和監管機構監控這些報告，以確保交易和金融活動的公平性。

金融新聞

財務新聞是與資金和投資相關的信息，影響市場動態，傳播渠道包括傳統媒體、金融服務平臺、社交媒體和在線論壇。GameStop（GME）事件展示了財務新聞對市場的影響，散戶投資者通過社交平臺協調買入，導致股價暴漲，機構投資者被迫回補空頭。收集財務新聞數據對市場分析至關重要，主要來源包括專業金融平臺、新聞機構和社交媒體。數據處理面臨挑戰：1) 可信度問題，2) 大量信息處理，3) 多模態信息對齊。

市場數據和替代數據

市場數據包括金融工具的價格信息和相關數據，支持投資者做出明智決策。隨著數據量的增加，從復雜市場數據中提取可操作的洞察成為挑戰，強化學習（RL）為此提供了有效的解決方案。量化投資結合計算機和人類研究，利用市場數據構建投資組合，alpha因子挖掘受到關注。氣候數據記錄特定地點和時間的氣候條件，影響商品供應和價格波動，投資者可通過分析氣候數據預測市場變化。

金融課程及證書

完成金融課程或認證需通過一系列金融考試。考題包含多種金融數據形式，如文本、數字、圖表和數據表。回答這些問題需要專業的金融知識和推理能力。評估MFFMs的答案可判斷其對金融知識的理解程度。

多模態金融應用：代理AI生態系統

FinGPT驅動的FinAgents

AI代理能夠通過觀察復雜環境實現自我改進，助力解決復雜金融任務。哥倫比亞大學的SecureFinAI實驗室開發了多個FinAgents原型，包括：

• 搜索代理：實時檢索金融數據并生成個性化輸出。
• 教學代理：教授專業金融知識和復雜法規。
• XBRL代理：分析SEC文件（XBRL格式），調用外部工具。
• FinRL交易代理：整合多種深度強化學習算法，幫助客戶開發內部交易策略。

這些代理遵循標準化開發周期，支持多種金融場景的定制化開發。將九種金融代理分為工具代理和金融服務代理兩類。

工具代理

• 搜索代理：MFFM增強的FinGPT搜索代理能處理多模態金融數據，提供個性化、上下文相關的洞察，成本低于專業金融數據庫，用戶可構建定制化金融AI搜索代理。
• 輔導代理：MFFMs可為在線教育提供可擴展的解決方案，AI輔導員能提供個性化學習體驗，QFinben展示了其在商業和金融教育中的應用。
• 機器人顧問：MFFMs可提升機器人顧問的個性化互動，整合多模態數據，提供持續的投資建議和調整。
• 編碼代理：編碼代理幫助投資者快速構建個人財務分析工具。

金融服務代理

• 信用評分代理：利用LLMs構建透明的數據驅動信用評分代理。
• 審計代理：AI代理可自動執行復雜審計程序，提高審計效率，減少人為錯誤。
• 合規代理：MFFMs集成于合規管理中，自動化復雜的監管分析，增強倫理AI實踐。
• 報告生成代理：MFFM驅動的報告生成代理能快速生成高質量、個性化的財務報告，幫助利益相關者做出明智決策。
• 交易代理：MFFM驅動的交易代理能夠整合多種市場數據，提供個性化投資建議，降低成本。FinRL交易代理提供用戶友好的虛擬市場環境，支持多種深度強化學習算法（如DQN、DDPG、PPO等），用戶可開發自己的交易策略。FinRL-DeepSeek項目結合強化學習與大語言模型，利用股票價格和財經新聞數據訓練自動化交易代理，提升處理復雜市場信息的能力。

MFFM代理在多個復雜金融任務中展現出可擴展、個性化和高性價比的解決方案潛力。

MFFMs：進展與前景

案例研究

• 預訓練階段：從零開始訓練模型，需高質量金融語料和強大基礎模型。Open-FinLLMs使用18億通用領域和52億金融領域的語料，選擇Llama3-8B作為基礎模型，經過持續預訓練得到FinLLaMA，超越LLaMA3-8B在金融任務上的表現。
• 微調階段：旨在提升模型的多模態能力和指令跟隨能力。FinLLaVA在FinLLaMA基礎上，通過1.43百萬圖文對進行多模態指令調優，超越所有開源MM-LLMs的圖表理解任務，僅次于閉源GPT系列。
• 對齊階段：引導微調后的MFFM生成符合人類偏好的輸出。FinTral構建對齊數據集，使用高能力和低能力LLM生成正負樣本，采用直接偏好優化（DPO）方法進行對齊調優，顯著減少幻覺內容。

研究現狀

MFFMs性能基準：評估MFFMs在金融任務中的表現至關重要，多個基準提供不同視角的比較。

• FinBen：涵蓋46個數據集和24個金融任務，發現LLM在信息提取和文本分析表現良好，但在高階推理和文本生成方面仍有不足。
• Open FinLLM Leaderboard：鼓勵創新和模型改進，提供開放平臺，促進學術界、開源社區和金融行業的合作。
• QFinBen：測試LLM在復雜金融問題上的推理能力，結果顯示LLM在通過專業考試方面存在局限。
• FinSet-Benchmark：包含13個LLM在七個文本金融任務上的表現，以及9個MM-LLM在圖表理上的評估。
• MME-Finance：雙語金融視覺問答基準，評估19個MM-LLM在金融多模態數據上的認知能力，發現其在理解蠟燭圖和技術指標圖方面表現不佳。
• FFAMA：金融多語言多模態問答基準，評估LLM在八個主要金融子領域的表現，發現即使是先進模型的準確率也僅為42%。
• OmniEval：金融領域首個RAG基準，評估RAG框架在多維度上的表現，發現其在復雜推理和數值理解方面存在困難。
• InverstorBench：首個基于LLM的金融代理基準，評估13個LLM在不同市場場景下的表現，顯示專有模型在復雜市場條件下表現更佳，但不同LLM在交易中的表現差異顯著。

LLMs/MM-LLMs在信息提取和基礎金融文本分析中有效提升能力，助力自動化金融數據處理，減少人工錯誤。當前LLMs/MM-LLMs在回答復雜金融問題、理解數值及解讀圖表方面仍存在局限，需開發針對金融多模態數據的MFFMs。

MFFMs模型：MFFMs通常基于開源LLMs，經過專門金融數據集的預訓練和微調。代表性MFFMs：

• Open-FinLLMs：包含FinLLaMA和FinLLaVA，在文本分類、信用評分等任務中表現優越，尤其在表格和圖表理解上超越GPT-4。
• FinTral：基于Mistral-7B，經過20億個領域特定數據的預訓練，具備良好的零-shot能力，表現優于GPT-4。
• FinVis-GPT：專注于金融圖表分析，能有效解讀和分析金融圖表。

MFFMs在多項金融任務中發揮重要作用，未來將擴展其在復雜任務和多樣金融場景中的應用。

多模態金融數據集的構建：

• 預訓練數據集：如BloombergGPT的FinPile，包含3450億個公共數據和3630億個專有數據。
• 指令微調數據集：如OpenFinLLaVA和FinVis-GPT，構建了豐富的多模態數據集以提升模型的指令理解能力。

MFFMs前景

• 多模態檢索增強生成（MRAG）：高效從大數據庫中檢索相關信息對金融AI系統至關重要，提升檢索增強生成能力可提高AI模型的響應精準度和上下文意識，改善復雜金融決策過程的實用性。
• 微調與量化方法：通用LLM在金融領域需通過微調掌握市場和工具的細微差別，同時考慮模型量化以優化推理性能，確保實時環境中的有效部署。示例包括FinGPT-HPC和FinLoRA。
• 定制預訓練模型：根據特定用例定制預訓練模型可顯著提升其有效性，例如，需調整一般客服模型以處理復雜投資查詢或遵循特定金融法規。

挑戰與機遇：走向金融人工智能的準備和治理

金融專屬多模態數據

專有數據對金融分析和決策至關重要，提供獨特見解。

• 內部交易數據可分析行為模式和市場趨勢。
• 信用評分數據對風險管理至關重要。
• 市場研究數據幫助理解消費者需求和市場動態。
• 實時流數據促進算法交易。
• 私人財務報告提供合作伙伴或投資目標的機密信息。
• 專有經濟指標基于獨特數據集和分析。
• 替代數據（如衛星圖像、移動應用數據、社交媒體活動）為投資決策提供額外視角。

合成多模態數據可解決金融數據隱私和質量問題。合成數據通過生成過程學習真實數據特性，確保隱私。醫療領域已有成功案例，但金融領域缺乏有效的多模態數據合成方法。

數字監管報告（DRR）

多模態聊天機器人可自動化金融監管流程，幫助律師和會計師提高效率。金融監管面臨復雜的合規框架和重疊的管轄權，尤其在歐盟和美國。金融監管需處理多種數據類型，包括結構化和非結構化數據，增加了合規的挑戰。XBRL作為國際標準，促進金融數據共享，但其復雜性對企業和公眾構成挑戰。XBRL代理可簡化數據聚合，提升金融智能的可及性。

當前AI聊天機器人的金融問題回答準確率僅為19%-30%，存在術語歧義、數據提取錯誤和計算錯誤等問題。共同領域模型（CDM）為XBRL提供標準化解決方案，能處理多種文檔格式，減少錯誤并支持多場景應用。

倫理的挑戰

MFFMs（金融大型語言模型）存在倫理風險，可能導致金融機構做出錯誤投資決策和風險評估。

主要倫理問題包括：

• 安全與隱私：需確保信息安全，防止泄露。
• 版權侵權：使用互聯網數據需避免輸出受版權保護的內容。
• 系統性偏見：可能導致對某些種族群體的不公平對待。
• 透明性與可解釋性：金融決策需清晰可解釋，確保責任明確。

新興倫理問題包括：

• 真實性：LLMs可能產生虛假信息，影響財務分析。
• 諂媚性：輸出迎合用戶信念，可能導致不準確的確認。
• 專業規范遵循：需遵循行業規范，維護公司文化。
• 法律與合規：必須遵守金融法律法規，防止歧視問題。

錯誤信息和幻覺

財務信息的準確性對市場運作、風險管理、合規和財務決策至關重要。不準確的財務信息來源于兩方面：誤傳的信息和模型輸出的幻覺。

誤傳信息來自媒體渠道和濫用大型語言模型（LLMs）生成的信息，檢測財務誤傳是一大挑戰。FMDLlama通過在Fin-Fact數據集上微調LLaMA-3模型，提供了一種檢測財務誤傳的可行方案。

幻覺是指LLMs因訓練于廣泛多樣的數據集而產生的事實錯誤輸出，確保LLM輸出的準確性和可靠性對金融行業應用至關重要。Kang和Liu量化了財務幻覺，并探討了幾種緩解方法，包括少量學習、對比層解碼和檢索增強生成（RAG）。

總結

本文綜述了多模態金融基礎模型（MFFMs）的現狀，探討了多模態金融數據及其應用場景。討論了MFFMs的進展、未來前景及其面臨的挑戰與機遇，以提升AI的金融準備度。關鍵方向包括：

• 多語言和多模態能力，需整合文本、數值、圖像等多種數據。
• 開放數據集和問題集，促進MFFMs的訓練和評估標準化。
• 建立MFFMs和FinAgents的開放排行榜，推動AI生態系統發展。
• 區塊鏈技術保障數據隱私和模型知識產權，支持多方協作訓練。

本文轉載自??靈度智能??，作者：靈度智能