隨著智慧司法的興起，智能化方法驅(qū)動的智能法律系統(tǒng)有望惠及不同群體。例如，為法律專業(yè)人員減輕文書工作，為普通民眾提供法律咨詢服務(wù)，為法學(xué)學(xué)生提供學(xué)習(xí)和考試輔導(dǎo)。

由于法律知識的獨特性和司法任務(wù)的多樣性，此前的智慧司法研究方面主要著眼于為特定任務(wù)設(shè)計自動化算法，難以滿足對司法領(lǐng)域提供支撐性服務(wù)的需求，離應(yīng)用落地有不小的距離。而大型語言模型（LLMs）在不同的傳統(tǒng)任務(wù)上展示出強大的能力，為智能法律系統(tǒng)的進一步發(fā)展帶來希望。

近日，復(fù)旦大學(xué)數(shù)據(jù)智能與社會計算實驗室（FudanDISC）發(fā)布大語言模型驅(qū)動的中文智慧法律系統(tǒng) ——DISC-LawLLM。該系統(tǒng)可以面向不同用戶群體，提供多樣的法律服務(wù)。此外，實驗室還構(gòu)建了評測基準 DISC-Law-Eval，從客觀和主觀兩個方面來評測法律大語言模型，模型在評測中的表現(xiàn)相較現(xiàn)有的法律大模型有明顯優(yōu)勢。

課題組同時公開包含 30 萬高質(zhì)量的監(jiān)督微調(diào)（SFT）數(shù)據(jù)集 ——DISC-Law-SFT，模型參數(shù)和技術(shù)報告也一并開源。

• 主頁地址：https://law.fudan-disc.com
• Github 地址：https://github.com/FudanDISC/DISC-LawLLM
• 技術(shù)報告：https://arxiv.org/abs/2309.11325

01 樣例展示

用戶有法律方面的疑問時，可以向模型咨詢，描述疑問，模型會給出相關(guān)的法律規(guī)定和解釋、推薦的解決方案等。

圖 1 法律咨詢示例

專業(yè)法律者和司法機關(guān)，可以利用模型完成法律文本摘要、司法事件檢測、實體和關(guān)系抽取等，減輕文書工作，提高工作效率。

圖 2 司法文書分析

法律專業(yè)的學(xué)生在準備司法考試過程中，可以向模型提出問題，幫助鞏固法律知識，解答法律考試題。

圖 3 考試助手示例

在需要外部法條做支撐時，模型會根據(jù)問題在知識庫中檢索相關(guān)內(nèi)容，給出回復(fù)。

圖 4 檢索增強場景下的對話

02 DISC-LawLLM 介紹

DISC-LawLLM 是基于我們構(gòu)建的高質(zhì)量數(shù)據(jù)集 DISC-Law-SFT 在通用領(lǐng)域中文大模型 Baichuan-13B 上進行全參指令微調(diào)得到的法律大模型。值得注意的是，我們的訓(xùn)練數(shù)據(jù)和訓(xùn)練方法可以被適配到任何基座大模型之上。

DISC-LawLLM 具有三個核心能力：

1. 基礎(chǔ)的法律文本處理能力。針對法律文本理解與生成的不同基礎(chǔ)能力，包括信息抽取、文本摘要等，我們基于現(xiàn)有的 NLP 司法任務(wù)公開數(shù)據(jù)和真實世界的法律相關(guān)文本進行了微調(diào)數(shù)據(jù)的構(gòu)建。

2. 法律推理思維能力。針對智慧司法領(lǐng)域任務(wù)的需求，我們使用法律三段論這一法官的基本法律推理過程重構(gòu)了指令數(shù)據(jù)，有效地提高了模型的法律推理能力。

3. 司法領(lǐng)域知識檢索遵循能力。智慧司法領(lǐng)域的問題解決，往往需要依循與問題相關(guān)的背景法條或者案例，我們?yōu)橹悄芊商幚硐到y(tǒng)配備了檢索增強的模塊，加強了系統(tǒng)對于背景知識的檢索和遵循能力。

模型的整體框架如圖 5 所示：

圖 5 模型在不同的法律場景下服務(wù)于不同的用戶

03 方法：數(shù)據(jù)集 DISC-Law-SFT 的構(gòu)造

圖 6 DISC-Law-SFT 的構(gòu)造

DISC-Law-SFT 分為兩個子數(shù)據(jù)集，分別是 DISC-Law-SFT-Pair 和 DISC-Law-SFT-Triplet，前者向 LLM 中引入了法律推理能力，而后者則有助于提高模型利用外部知識的能力。

表 1：DISC-Law-SFT 數(shù)據(jù)集內(nèi)容介紹

數(shù)據(jù)來源

DISC-Law-SFT 數(shù)據(jù)集的數(shù)據(jù)來源于三部分，一是與中國法律相關(guān)的 NLP 司法任務(wù)公開數(shù)據(jù)集，包括法律信息抽取、實體與關(guān)系抽取、司法文本摘要、司法考試問答、司法閱讀理解、罪名 / 刑期預(yù)測等；二是收集了來自真實世界的法律相關(guān)的原始文本，如法律法規(guī)、司法案件、裁判文書、司法相關(guān)的考試等；三是通用的開源數(shù)據(jù)集，我們使用了 alpaca_gpt4_data_zh 和 Firefly，這樣可以豐富訓(xùn)練集的多樣性，減輕模型在 SFT 訓(xùn)練階段出現(xiàn)基礎(chǔ)能力降級的風(fēng)險。

指令對構(gòu)造

對上述一、二來源的數(shù)據(jù)轉(zhuǎn)換為 “輸入 - 輸出” 指令對后，我們采用以下三種方式對指令數(shù)據(jù)重構(gòu)，以提高數(shù)據(jù)質(zhì)量。

• 行為塑造

在法律三段論中，大前提為適用的法律規(guī)則，小前提為案件事實，結(jié)論為法律判斷。這構(gòu)成了法官的一個基本的法律推理過程。每一個案例都可以通過三段論得出一個明確的結(jié)論，如下所述：

大前提：法律規(guī)則

小前提：案件事實

結(jié)論：法律判斷

我們利用 GPT-3.5-turbo 來完成行為塑造的重構(gòu)，細化輸出，確保每個結(jié)論都從一個法律條款和一個案例事實中得出。

• 知識擴充

對于行為塑造不適用的多項選擇題，我們直接使用法律知識擴展輸出，以提供更多的推理細節(jié)。許多與法律相關(guān)的考試和知識競賽只提供答案選項，我們使用 LLM 來擴展所涉及的法律知識，給出正確的答案，并重建指令對。

• 思維培養(yǎng)

思維鏈（CoT）已被證明能有效地提高模型的推理能力。為了進一步賦予模型法律推理能力，我們設(shè)計了具有特定法律意義的思維鏈，稱為 LCoT，要求模型用法律三段論來推導(dǎo)答案。LCoT 將輸入 X 轉(zhuǎn)換為如下的提示：

在法律三段論中，大前提是適用的法律規(guī)則，小前提是案件事實，結(jié)論是對案件的法律判斷。

案件：X

讓我們用法律三段論來思考和輸出判斷：

指令三元組構(gòu)造

為了訓(xùn)練檢索增強后的模型，我們構(gòu)造了 DISC-Law-SFT-Triplet 子數(shù)據(jù)集，數(shù)據(jù)為 < 輸入、輸出、參考 > 形式的三元組，我們使用指令對構(gòu)造中列出的三種策略對原始數(shù)據(jù)進行處理，獲得輸入和輸出，并設(shè)計啟發(fā)式規(guī)則來從原始數(shù)據(jù)中提取參考信息。

04 實驗

訓(xùn)練

DISC-LawLLM 的訓(xùn)練過程分為 SFT 和檢索增強兩個階段。

• 檢索增強

雖然我們使用了高質(zhì)量的指令數(shù)據(jù)對 LLM 進行微調(diào)，但它可能會由于幻覺或過時的知識而產(chǎn)生不準確的反應(yīng)。為了解決這個問題，我們設(shè)計了一個檢索模塊來增強 DISC-LawLLM。

給定一個用戶輸入，檢索器通過計算它們與輸入的相似性，從知識庫返回最相關(guān)的 Top-K 文檔。這些候選文檔，連同用戶輸入，用我們設(shè)計的模板構(gòu)造后輸入到 DISC-LawLLM 中。通過查詢知識庫，模型可以更好地理解主要前提，從而得到更準確可靠的答案。

圖 7：檢索增強的 DISC-LawLLM

評測方法

• 評測基準 DISC-Law-Eval

我們構(gòu)建了一個公平的智能法律系統(tǒng)評估基準 DISC-Law-Eval，從客觀和主觀的角度來評估，填補了目前還沒有基準來對智能法律體系全面評估這一空白。

圖 8：DISC-Law-Eval 評測基準

• 客觀評測

為了客觀、定量地評估智能法律系統(tǒng)的法律知識和推理能力，我們設(shè)計了一個客觀的評價數(shù)據(jù)集，由一系列中國法律標準化考試和知識競賽的單項和多項選擇題組成，并根據(jù)內(nèi)容復(fù)雜性和演繹難度，將問題分為困難、正常和容易三個層次。它可以提供一個更具挑戰(zhàn)性和可靠的方法來衡量模型是否可以利用其知識來推理正確的答案。我們通過計算精度來表明性能。

• 主觀評測

主觀評測部分，我們采用問答的范式進行評估，模擬主觀考試問題的過程。我們從法律咨詢、在線論壇、與司法相關(guān)的出版物和法律文件中手工構(gòu)建了一個高質(zhì)量的測試集。我們用 GPT- 3.5-turbo 作為裁判模型來評估模型的輸出，并用準確性、完整性和清晰度這三個標準提供 1 到 5 的評分。

評測結(jié)果

• 比較模型

將我們的模型 DISC-LawLLM (不外接知識庫) 與 4 個通用 LLM 和 4 個中文法律 LLM 進行比較，包括 GPT-3.5-turbo、ChatGLM-6B 、Baichuan-13B-Chat 、Chinese-Alpaca2-13B ；LexiLaw 、LawGPT、Lawyer LLaMA、ChatLaw 。

• 客觀評測結(jié)果

DISC-LawLLM 在所有不同難度水平的測試中超過所有比較的同等參數(shù)量的大模型。即使與具有 175B 參數(shù)的 GPT- 3.5-turbo 相比，DISC-LawLLM 在部分測試上也表現(xiàn)出了更優(yōu)越的性能。表 2 是客觀評測結(jié)果，其中加粗表示最佳結(jié)果，下劃線表示次佳結(jié)果。

表 2：客觀評測結(jié)果

• 主觀評測結(jié)果

在客觀評測中，DISC-LawLLM 獲得了最高的綜合得分，并在準確性和清晰度這兩項標準中得分最高。表 3 是主觀評測結(jié)果，其中加粗表示最佳結(jié)果。

表 3：主觀評測結(jié)果

05 總結(jié)

我們發(fā)布了 DISC-LawLLM，一個提供多應(yīng)用場景下法律服務(wù)的智能法律系統(tǒng)?；诠_的法律領(lǐng)域 NLP 任務(wù)數(shù)據(jù)集、法律原始文本和開源通用指令數(shù)據(jù)集，按照法律三段論重構(gòu)了法律指令進行監(jiān)督微調(diào)。為了提高輸出的可靠性，我們加入了一個外部檢索模塊。通過提高法律推理和知識檢索能力，DISC-LawLLM 在我們構(gòu)建的法律基準評測集上優(yōu)于現(xiàn)有的法律 LLM。該領(lǐng)域的研究將為實現(xiàn)法律資源平衡等帶來更多前景和可能性，我們發(fā)布了所構(gòu)建的數(shù)據(jù)集和模型權(quán)重，以促進進一步的研究。