一、Deepexi 滴普企業大模型方案

1. DEEPEXI 產品邏輯架構

下面是算力基礎設施，包括 Fast5000E 企業算力平臺。上面 FastData 企業融合數據平臺，目前在原有基礎上向 AI 進行了跨越，可以支持在大數據平臺處理非結構化數據，比如文檔或者音視頻數據可以在平臺上進行訓練數據的加工。加工之后的數據提供給 FastAGI 企業大模型服務平臺進行模型工程做訓練。在上面會有 Agent，基于 LangChain 框架，實現 RAG 召回，可以創建 AI 智能助手，為企業應用嵌入或者直接進行知識問答。

基于上述產品，可以支持多種場景，包括數據智能分析，即通過對話的方式來進行數倉數據的分析；單品大腦，即企業面向整個供應鏈進行快速反應；以及知識問答和用車助手，將企業知識數據訓練進去之后，通過問答的方式進行精準檢索。

2. DEEPEXI 產品功能架構

上圖是 DEEPEXI 產品的功能架構圖，下面是 Fast5000E 訓推一體機和 Deepexi滴普企業多模態大模型。

其上，在語料工程部分，可以從不同數據源進行數據采集，包括數倉、數據庫，還有文檔的一些存儲路徑，對象存儲、云上的存儲等等。同時提供統一的 catalog，對應用層以及 FastAGI 企業大模型服務平臺提供統一的元數據，使其可以直接訪問結構化數據、非結構化數據或者是大模型訓練加工的數據。

模型工程部分，在 FastAGI 企業大模型服務平臺的基礎上，支持智能體的構建、模型的訓練和微調，以及模型的推理和評估。

再向上，我們可以面向不同的場景提供產業 AI 應用的能力。

3. DEEPEXI 產品技術架構

這張 DEEPEXI 產品技術架構圖展示了目前大模型相關的一些核心技術能力。左邊是語料工程，可以對本地數據源或外部數據源的數據進行加工。在一些場景中會進行預訓練，比如某些客戶需要自動地基于業務場景寫代碼，如果讓客戶去整理應用場景和代碼的關系是比較復雜的，因此我們先是把客戶大概十萬多個 API 進行了預訓練，再把這種應用場景和代碼進行指令精調。同時我們還通過 Prompt 的方式對輸出結果進行優化。

我們的 Deepexi 滴普企業多模態大模型，除了基礎的 300 億參數之外，對于文檔的解析也用了很多小模型，比如對 PDF、word 進行解析，生成 markdown 格式的數據，再進行切片、數據的合成，并進行訓練。

Fast5000E 訓推一體機方面，我們具有對 GPU 集群的管理、對模型的管理、算力的池化等能力。

4. 從數據時代走向數據智能時代

無論是公司還是整個行業，都在從原有的數據時代向智能時代跨越。

二、語料工程

下面介紹模型訓練之前，我們在語料工程方面所做的工作。

1. 大模型訓練效果 80% 取決于數據質量

我們認為模型訓練的效果 80% 取決于訓練數據集的質量。我們在項目實際落地過程中，80% 的工作也都是做數據加工，包括訓練模型之后如何進一步提升任務的準確率，都是在做數據的清洗加工和不斷調整，包括跟業務進行比對，不斷提升數據質量。

2. 大模型訓練數據加工過程

數據加工的過程如上圖所示。文檔可以從產品側上傳，之后通過嵌入在產品里面的一些小模型對數據進行解析，然后對解析之后的數據進行標注，可以通過模型進行標注，也會投入一些人工標注。比如我們在一個項目上落地大概有 1000 本左右的文檔，進行解析之后，由六位技術人員標注，模型標注完之后還需要人工去看數據是否正確。

標注完成后，我們會對數據進行切片，按三級標題來切成一個一個的知識點，基于這些知識點生成問答對。當然，我們也會用 GPT 的方式去生成問題，也可以自己訓練一個小模型去合成 QA 對。最后，利用這些問題，為 RAG 提升 Retrieve 的準確度。

3. RAG 過程示意圖

上圖展示了基于 RAG 的召回過程。生成的知識點會放到向量庫中進行向量化，之后一個問題過來時會到這個向量庫里面去檢索，檢索完的上下文，會用 Prompt 的方式，通過模型進行總結回答。這部分的核心工作就是對 embedding 模型的訓練。

4. 數據 AI 分析方案

在數據 AI 分析方案這個場景，一方面我們通過模型的能力自動生成 SQL，當然在企業很多復雜的場景中，生成的 SQL 準確度是不夠的，因此我們采用的方案是，有一些指標可能有 API 能夠直接取到，或者是我們可以配一些 SQL 模板，把一些參數變成變量來根據其意圖識別到。在實際落地過程中，不一定全是靠模型去生成，我們也測試過，單靠模型生成 SQL 的準確度只能達到 60%~70% 左右。加上 API 和 SQL 模板這些手段之后，目前準確度可以提升 90%。目前該功能已在企業生產環境中正式使用。

三、模型工程

下面介紹我們在模型方面的工作。

1. 通用大模型與企業大模型的關系

關于通用大模型與企業大模型之間的關系，從上圖中可以看到，最下面 L0 層是我們經常看到的一些大模型廠商，它們具有一些通用能力，包括知識理解能力、推理能力、音視頻的生成或者解析的能力。上面一層是行業大模型，比如法律的大模型、醫療的大模型，它們是面向整個行業的。我們在企業落地的時候，需要拿著企業真實的業務數據，結合行業大模型和通用大模型進行再訓練或者微調，才能滿足企業的應用場景，所以其實我們目前在落地過程當中，主要做的是 L1 和 L2 這部分的工作。

2. Deepexi 滴普企業大模型核心定位

我們目前的定位是把數據和模型結合到一起，幫助企業進行快速落地。

3. 大模型微調過程示意圖

大模型微調過程，首先是選擇大模型，我們選擇的是 300 億參數級別的模型。我們認為這個參數級別對于客戶壓力不會特別大，使用兩臺一體機，配置 8 張主流的 GPU卡，基本上就可以落地。如果參數過大，對于私有化場景，企業落地應用的成本比較高。如果選擇特別小的參數級別的話，又無法滿足企業一些比較復雜的場景需求。第二是準備數據集，一方面是行業的數據，另一方面是企業自身的私有化數據。我們大部分工作集中在第三部分，即微調，采用了全參、Lora 以及適配器層調優幾種方式。最后一部分就是模型的測試評估和部署。

4. Deepexi 滴普企業大模型

我們在落地 Deepexi 滴普企業大模型過程當中總結了一些具體的方案，核心是幫助企業去訓練和調整其業務場景會用到的模型能力，主要包括以下三個方面：

• 第一塊是知識問答數據。
• 第二塊是 API 數據。模型的能力落地實際上還是在其業務流程中以嵌入式的方式實現一些智能化，或是做一些輔助分析、輔助決策。在決策過程中可能會產生一些動作，比如下單操作，要調系統 API 進行操作，所以我們主要是訓練它語義上的意圖理解能力，還有 FunctionCall 的能力，以精準調用 API。
• 第三塊是 SQL 數據。在面向數據分析場景中，我們的一個核心優勢是數據服務能力，很多老客戶需要提升數據分析場景的智能性，核心是需要這種 SQL 的能力，我們會訓練 SQL 的生成能力，再加上 API、SQL 模板能力來提升整個數據查詢的準確度。

5. 大模型微調方法

大模型微調也是圍繞這三個能力，生成三類訓練或者微調的數據。我們對模型進行訓練或者微調，調整的核心參數包括 learning_rate、warmup_ratio、num_train_epochs、model_max_length 等，根據 loss 值的下降情況，來判斷如何調整模型參數和數據集。

6. 大模型量化方法

模型訓練之后，在模型推理過程中我們需要考慮客戶自身的成本，因此要對模型進行量化，核心是降低其計算復雜度，使得客戶能用更少的資源進行推理。當然，降低精度的話，準確度也會有一些喪失，我們也做了一些工作，盡量減少由于精度降低對推理的影響。

7. 大模型安全

目前業界對于模型安全的要求是非常高的，比如在一些政府行業項目中，有些敏感詞，如涉政、地域歧視、人身攻擊等是不能出現的，因此我們造了 23 萬條敏感詞匯數據集對模型進行微調，使敏感詞過濾能力有較大提升。

四、制造行業落地實踐

1. 某鞋服行業頭部企業聯手滴普科技自建 AI 訓推平臺，快速上線智能應用

某鞋服行業頭部企業在國內擁有萬余家自營門店，我們與其共創了一整套與業務深入結合的流程，覆蓋了從底層算力服務一體機，到大數據平臺，再到基于模型的 AGI 平臺，核心落地實現了以下三大應用場景：

• 研發設計助手（文生圖）：

通過圖文模式、多圖融合、關鍵詞反推、線稿渲染、款式配色實現鞋服新品設計，引領創意，提升設計效率。

• 商品運營智能助手（面向一線）：

商品全生命周期的知識問答、數據分析、業務推理，實時了解庫存，提供補貨建議，提升商品流通效率。

• 零售供應鏈助手（面向管理者）：

打通供應鏈管理系統和零售運營系統數據，通過業務執行輔助問答實現供應鏈流程智能化，提升決策效率。

我們目前與該鞋服行業的頭部企業共同探索的另外一個非常核心的場景是 OTB-滾動預算，即如何根據業務情況進行進行智能分析和調整預算目標。

2. 某國內工程設計服務業的頭部企業聯手滴普自建 AI 訓推平臺，快速上線智能應用

某國內工程設計服務業的頭部企業通過建設 AI 智能體平臺，實現了問答助手和設計助手兩大應用場景。

• 問答助手：

基于知識圖譜數據，利用 LLM 實現自然語言問答。其內部有 80 多萬字的核心規范，我們也是在企業內部進行訓練的。這是一個私有化的場景，沒法用通用大模型，也沒法用云的服務器，所以使用我們的一體機加上我們的模型訓練和 AGI 平臺來進行落地。

• 設計助手：

對已有圖紙文檔分析理解、專業文檔輔助生成、專業圖紙校審。最大的挑戰是要求 90% 的準確度，目前仍在不斷的優化中，我們 80% 的工作都是要對齊這一需求，不管是回答風格、規范，還是語義場景。有時一個問題可能會涉及到七八本規范數據，模型推理可能會出現遺漏，影響準確度，所以我們做了大量的語料和訓練優化的工作，目前已經訓了十幾輪來不斷優化和改進，包括 RAG 的增強，訓練 embedding 模型。

3. 滴普科技專注大模型在工業制造深入落地

滴普科技是領先的企業 AI 基礎設施服務商，聚焦產業 AI 應用，為客戶提供 DeepexiOS 企業 AI 平臺及 DeepexiGenAI 企業核心領域的生成式 AI 應用，助力企業構建智能化基礎設施，并實現產業 AI 應用落地。目前除了上述兩個典型場景之外，也在其他企業進行著不同程度的落地。憑借眾多標桿合作案例，滴普科技入選福布斯中國人工智能科技企業 TOP50 榜單，并被認證為 2024 年第六批國家級專精特新 “小巨人” 企業。

今天的分享就到這里，感謝大家！

五、問答環節

Q1：前面介紹的案例，比如鞋服行業的例子里面，很多都是獲取如銷量數據或者銷量情況，如果我想問一些關于決策的問題，比如今天這個鞋要備貨多少件，或者是一些更偏向于歸因的問題，比如銷量變差是什么原因，這種情況下“問答助手”是怎么實現的？

A1：這其實就是剛才介紹的智能補貨場景，內部稱為單品大腦。我們核心訓練三個任務，第一個任務就是識別商品編號，提供給系統調用，這里用到語義識別是通過模型進行訓練；第二個任務是拿到編號和一些參數之后，需要調哪個系統的 API，補貨邏輯在系統中已經實現，我們只要更精準地調用 API 拿到這些數據；第三個任務是，有一些分析總結，有特別的規范，我們會按照規范的語料來進行訓練，最終把拿到的數據以及分析的結果通過規范的形式輸出出來。具體補多少量并不是模型給到他的，而是以 FunctionCall 的形式去調已有的業務系統來給出要補多少，我只是把這種分析的趨勢或者分析的結果給到這個系統，讓它給我返回結果。

Q2：模型的準確率如何匹配設計行業的實際需求？

A2：目前模型的能力達到 100% 幾乎是不太可能的，客戶要求是 90% 以上，這一目標涉及很多復雜問題，比如一個問題涉及到多本規范，還有復雜的表格、復雜的公式、復雜的圖紙，規范里邊還會有一些計算邏輯。模型需要幫助做好復雜推理，同時還有一些知識圖譜，會基于圖數據庫的知識，進行復雜的推理，這些都是需要進行提升的。

對于剩下的 10% 的不正確或不準確的回答，我們在回答問題過程中，不僅有結論，還會有分析過程，另外還會引用問題答案是從哪個規范里面出來的。基本上用戶可以快速判斷。另外還可以通過產品化的方式來解決，我們有點贊或者點踩，會在后臺收集到日志，如果這個問題回答的不好，被點踩了，我們會分析這類問題該如何優化語料，以進一步提升。