在 2023 年即將結(jié)束之際，我們會(huì)發(fā)現(xiàn)隨著 ChatGPT 的引入，世界發(fā)生了不可逆轉(zhuǎn)的變化。人工智能的主流化繼續(xù)以強(qiáng)勁勢(shì)頭推進(jìn)，我們?nèi)绾螒?yīng)對(duì)這些不斷變化的時(shí)代需要信念的飛躍。人工智能可能同時(shí)具有潛在的變革性和不準(zhǔn)確性！但我們的未來(lái)不僅僅是人工智能，因?yàn)槲覀內(nèi)匀恍枰^續(xù)提高數(shù)據(jù)管理水平。

2024 年的數(shù)據(jù)與人工智能的趨勢(shì)與管道和激活有關(guān)，特別是對(duì)于關(guān)注數(shù)據(jù)質(zhì)量、平臺(tái)架構(gòu)和治理的人工智能而言。服務(wù)于多種信息角色的自主代理和任務(wù)助理可以部分或完全自動(dòng)化所需的活動(dòng)。此外，用于生成高質(zhì)量數(shù)據(jù)集的工具可以在人工智能模型開(kāi)發(fā)生命周期的各個(gè)階段提供不斷改進(jìn)的模型。以下是 2024 年的四個(gè)主要趨勢(shì)：

1. 智能數(shù)據(jù)平臺(tái)
2. 人工智能代理
3. 個(gè)性化人工智能堆棧
4. 人工智能治理

一、智能數(shù)據(jù)平臺(tái)

如今的數(shù)據(jù)平臺(tái)很大程度上是一個(gè)“記錄系統(tǒng)”堆棧，它將來(lái)自各種企業(yè)數(shù)據(jù)庫(kù)和應(yīng)用程序的數(shù)據(jù)匯集到一個(gè)公共存儲(chǔ)庫(kù)中。當(dāng)前，該堆棧的主要用例是報(bào)告和分析，在極少數(shù)情況下是數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)化。還有什么比在數(shù)據(jù)平臺(tái)中注入智能來(lái)加速人工智能數(shù)據(jù)產(chǎn)品和應(yīng)用程序在整個(gè)企業(yè)中的采用更好的呢？

我們將智能數(shù)據(jù)平臺(tái)定義為大語(yǔ)言模型（LLM）基礎(chǔ)設(shè)施是核心數(shù)據(jù)平臺(tái)一部分的平臺(tái)。該智能層可用于將智能注入兩種應(yīng)用程序：

1. 核心數(shù)據(jù)應(yīng)用程序：這些應(yīng)用程序包括人工智能驅(qū)動(dòng)的數(shù)據(jù)操作、語(yǔ)義搜索和發(fā)現(xiàn)代理、人工智能輔助攝取工具、人工智能輔助數(shù)據(jù)準(zhǔn)備和轉(zhuǎn)換以及用于數(shù)據(jù)分析的對(duì)話式人工智能代理。當(dāng)代理通過(guò)從錯(cuò)誤中學(xué)習(xí)進(jìn)行推理時(shí)，此類應(yīng)用程序的自動(dòng)化程度只會(huì)變得更好。
2. 智能應(yīng)用：智能化的人工智能代理是第二種應(yīng)用趨勢(shì)。

下圖顯示了智能數(shù)據(jù)平臺(tái)以及 AI 代理和應(yīng)用程序的示意圖。

智能數(shù)據(jù)平臺(tái)是當(dāng)前以倉(cāng)庫(kù)/湖為中心的數(shù)據(jù)平臺(tái)環(huán)境的下一個(gè)演進(jìn)。隨著對(duì)簡(jiǎn)化消費(fèi)界面的渴望，智能應(yīng)用程序?qū)⑼苿?dòng)未來(lái)十年的生產(chǎn)力。到 2024 年，企業(yè)需要認(rèn)真審視當(dāng)前的數(shù)據(jù)平臺(tái)架構(gòu)，并解決與數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量和重復(fù)以及堆棧組件碎片相關(guān)的挑戰(zhàn)。高質(zhì)量、精選的數(shù)據(jù)和元數(shù)據(jù)是生成式人工智能計(jì)劃成功的關(guān)鍵。智能數(shù)據(jù)平臺(tái)以及相關(guān)的數(shù)據(jù)應(yīng)用程序?qū)槿斯ぶ悄苡美С痔峁┗A(chǔ)數(shù)據(jù)和建模層基礎(chǔ)設(shè)施。

二、人工智能代理

“人工智能代理”一詞在 2023 年下半年成為一個(gè)流行詞。人工智能代理是一個(gè)程序或系統(tǒng)，可以感知其環(huán)境、推理、將給定任務(wù)分解為一組步驟、做出決策并采取行動(dòng)。像人類一樣自主地完成這些特定任務(wù)的行動(dòng)。

語(yǔ)言理解的終極意味著人類可以通過(guò)自然語(yǔ)言界面與人工智能程序進(jìn)行對(duì)話、指導(dǎo)和互動(dòng)。但人工智能程序除了幫助和回答與信息任務(wù)相關(guān)的問(wèn)題（例如搜索、提取或生成代碼和/或圖像）之外還能做更多的事情嗎？

人工智能代理能否擴(kuò)大當(dāng)今需要更多人工干預(yù)的任務(wù)自動(dòng)化領(lǐng)域以及需要高層次思考、推理和解決問(wèn)題的認(rèn)知任務(wù)？例如，執(zhí)行市場(chǎng)分析、風(fēng)險(xiǎn)評(píng)估和投資組合優(yōu)化等任務(wù)?；蛘?，執(zhí)行迄今為止由于復(fù)雜性或成本而不太可能自動(dòng)化的復(fù)雜任務(wù)。當(dāng)今人工智能代理/技術(shù)承擔(dān)顯著提高業(yè)務(wù)生產(chǎn)力和人機(jī)界面的任務(wù)的能力主要因?yàn)橛薪?jīng)濟(jì)價(jià)所值驅(qū)動(dòng)。

早期的研究嘗試圍繞數(shù)學(xué)相關(guān)活動(dòng)、思想鏈/圖和基于LLM的多步驟推理框架來(lái)展示自動(dòng)化復(fù)雜任務(wù)的能力。這些早期的預(yù)言遠(yuǎn)未達(dá)到構(gòu)建完全自主的信息代理應(yīng)用程序所需的目標(biāo)，但它們展示了可能性的潛力。

下顯示了一種架構(gòu)，該架構(gòu)提供了一種通用范式，該范式結(jié)合了推理和行動(dòng)的進(jìn)步以及圍繞該范式的早期工作，例如“思想鏈”，以解決各種語(yǔ)言推理和決策任務(wù)。這種推理和行動(dòng)與語(yǔ)言模型的耦合使這些程序能夠執(zhí)行決策任務(wù)。這種范式被稱為“ReAct”。

人工智能代理可以協(xié)助數(shù)據(jù)任務(wù)的自動(dòng)化，例如數(shù)據(jù)分析、BI 儀表板開(kāi)發(fā)、流程優(yōu)化、數(shù)據(jù)輸入、調(diào)度或基本客戶支持。他們還可以自動(dòng)化整個(gè)工作流程，例如供應(yīng)鏈優(yōu)化和庫(kù)存管理。下面描述人工智能代理所采取的步驟，使用戶能夠通過(guò)動(dòng)態(tài)創(chuàng)建想法/計(jì)劃并調(diào)整行動(dòng)計(jì)劃來(lái)動(dòng)態(tài)執(zhí)行推理任務(wù)，同時(shí)還可以與外部交互將附加信息合并到推理中。

1. 該流程的第一步是選擇一個(gè)任務(wù)，并提示LLM將一個(gè)問(wèn)題分解為一堆想法（子提示）。
2. 步驟2、3、4，進(jìn)一步使LLM能夠打破這些一堆想法，并思考和推理出這些子想法。
3. 第 5 步到第 8 步使 LLM 能夠進(jìn)行外部交互，例如根據(jù)完成想法/任務(wù)所需的信息提取信息。
4. 自由形式的思想/行動(dòng)集成用于實(shí)現(xiàn)不同的任務(wù)，例如分解問(wèn)題、提取信息、執(zhí)行常識(shí)/算術(shù)推理、指導(dǎo)搜索制定和綜合最終答案。

人工智能信息代理是一種趨勢(shì)，這可能會(huì)持續(xù)多年；預(yù)計(jì) 2024 年將在代理基礎(chǔ)設(shè)施/工具以及早期采用方面取得重大進(jìn)展。需要指出的是，我們?nèi)绾卫斫猱?dāng)前人工智能架構(gòu)承擔(dān)更復(fù)雜任務(wù)的潛力，很大程度上仍然取決于潛力，而且還有很多未解決的問(wèn)題。

盡管如此，企業(yè)必須以一種實(shí)用的方法來(lái)構(gòu)建代理應(yīng)用程序，并期望在某種程度上，與當(dāng)前人工智能技術(shù)的差距將呈現(xiàn)出越來(lái)越復(fù)雜的自動(dòng)化，而且這種差距可能會(huì)逐年縮小。它還必須考慮未來(lái) 12 個(gè)月內(nèi)各個(gè)用例可能實(shí)現(xiàn)的自動(dòng)化程度。此類項(xiàng)目的進(jìn)化路徑/旅程可能會(huì)通過(guò)此類努力取得更好的成功。

三、個(gè)性化人工智能堆棧

第三個(gè)趨勢(shì)包括通過(guò)三種方法個(gè)性化或定制模型和/或其響應(yīng)：

• 使用更多上下文數(shù)據(jù)微調(diào)模型。
• 改進(jìn)用于訓(xùn)練或微調(diào)模型的數(shù)據(jù)集，包括合成數(shù)據(jù)。
• 使用矢量搜索來(lái)利用具有相關(guān)數(shù)據(jù)的模型。

A 微調(diào)模型

雖然像 OpenAI 的 GPT-4 這樣的基礎(chǔ)模型為企業(yè)提供了一個(gè)機(jī)會(huì)來(lái)原型化生成式 AI 模型用例的潛力，但它們并沒(méi)有充分解決企業(yè)數(shù)據(jù)的隱私和安全性、所使用的可視化數(shù)據(jù)的開(kāi)放性等問(wèn)題訓(xùn)練此類模型的能力，針對(duì)特定要求對(duì)其進(jìn)行微調(diào)的能力，實(shí)現(xiàn)任何給定任務(wù)所需的準(zhǔn)確性以及總體成本價(jià)值主張。

為了超越原型和獲得更好結(jié)果的需求，我們可能會(huì)看到定制或特定任務(wù)的小語(yǔ)言模型 (SLM) 的興起，特別是在利基和垂直應(yīng)用程序中。這些模型將利用基礎(chǔ)/預(yù)訓(xùn)練基礎(chǔ)模型作為訓(xùn)練 SLM 或使用領(lǐng)域/企業(yè)數(shù)據(jù)進(jìn)行微調(diào)的起點(diǎn)。下圖顯示了模型微調(diào)的生命周期

簡(jiǎn)化定制 SLM 的開(kāi)發(fā)、實(shí)現(xiàn)此類模型的生命周期管理并將其從實(shí)驗(yàn)到部署仍然是一項(xiàng)挑戰(zhàn)：

1. 基礎(chǔ)LLM選擇：有多個(gè)、易于理解的選項(xiàng)，但缺乏支持性的詳細(xì)評(píng)估可能會(huì)使選擇基礎(chǔ)模型變得混亂和令人畏懼。
2. 參考數(shù)據(jù)集：在訓(xùn)練和RLHF微調(diào)以及模型評(píng)估和測(cè)試過(guò)程中需要參考數(shù)據(jù)集。參考數(shù)據(jù)集的可用性和創(chuàng)建仍然很費(fèi)力，通常是主觀的，并且很大程度上依賴于人類。原始任務(wù)/領(lǐng)域特定或合成數(shù)據(jù)的可用性可以顯著加快模型開(kāi)發(fā)的速度并縮短開(kāi)發(fā)時(shí)間。
3. 微調(diào)模型：將指令微調(diào)模型與現(xiàn)實(shí)世界對(duì)模型性能的期望進(jìn)行調(diào)整和調(diào)整所需的關(guān)鍵訓(xùn)練步驟之一是應(yīng)用人類反饋。這一步驟使模型能夠減少幻覺(jué)、偏見(jiàn)、危害并提高安全性。參數(shù)高效微調(diào) (PEFT) 和 RLHF 是流行的常用技術(shù)，有助于根據(jù)任務(wù)/領(lǐng)域特定上下文微調(diào)基礎(chǔ) LLM。盡管現(xiàn)有技術(shù)得到了顯著改進(jìn)，但由于語(yǔ)言響應(yīng)驗(yàn)證的創(chuàng)造性，高質(zhì)量的任務(wù)/領(lǐng)域特定提示響應(yīng)對(duì)/數(shù)據(jù)集和參考數(shù)據(jù)集（包括所需的人類反饋）仍然是手動(dòng)的、費(fèi)力的，并且容易發(fā)生變化。
4. 測(cè)試和評(píng)估模型：對(duì)處理復(fù)雜的自然語(yǔ)言的微調(diào)模型的評(píng)估取決于任務(wù)創(chuàng)造力和響應(yīng)評(píng)估，這通常是手動(dòng)和主觀的。雖然現(xiàn)在可以使用各種指標(biāo)和技術(shù)，但它們通常不足以評(píng)估模型。來(lái)自另一個(gè)參考或高級(jí)模型的響應(yīng)等技術(shù)用于生成參考評(píng)估數(shù)據(jù)集，以幫助提高評(píng)估階段的效率。模型還必須經(jīng)過(guò)安全性、偏差和危害測(cè)試。

微調(diào)模型所需任務(wù)的成功取決于仍不成熟的人工智能治理領(lǐng)域。人工智能治理是一種上升趨勢(shì)，需要提供模型的可解釋性，以建立信任并滿足監(jiān)管合規(guī)性。它還用于實(shí)時(shí)監(jiān)控任何性能下降、負(fù)責(zé)任的使用、成本和產(chǎn)品可靠性問(wèn)題的及時(shí)響應(yīng)。

圍繞 AI 模型開(kāi)發(fā)、生命周期管理、部署和監(jiān)控的工具可用性的興起，解決上述挑戰(zhàn)并簡(jiǎn)化模型開(kāi)發(fā)和生命周期管理，是 SLM 和任務(wù)特定模型成功的關(guān)鍵。

請(qǐng)注意，特定任務(wù)的人工智能模型仍處于實(shí)驗(yàn)階段，還有很多未解決的問(wèn)題。這將導(dǎo)致大量此類實(shí)驗(yàn)可能會(huì)失敗。盡管如此，這個(gè)主題在 2024 年整個(gè)生態(tài)系統(tǒng)的投資將會(huì)增加。

B 高質(zhì)量數(shù)據(jù)生態(tài)系統(tǒng)

雖然使用數(shù)萬(wàn)億個(gè)參數(shù)進(jìn)行訓(xùn)練的模型（例如 OpenAI 的 GPT-4）增加了它們的知識(shí)庫(kù)，但最近的實(shí)驗(yàn)表明，使用更好數(shù)據(jù)的更小模型可能能夠超越 OpenAI 現(xiàn)在所說(shuō)的非常大的 LLM 的“前沿模型”。 ”

通用模型和自定義模型的高質(zhì)量數(shù)據(jù)集的可用性仍然是一個(gè)大問(wèn)題，且不受隱私和版權(quán)的影響。大多數(shù)LLM預(yù)培訓(xùn)都是基于基于互聯(lián)網(wǎng)的網(wǎng)絡(luò)抓取數(shù)據(jù)集、書(shū)籍和一些源于學(xué)術(shù)界或研究的實(shí)驗(yàn)數(shù)據(jù)集。雖然可以為微調(diào)階段獲取一些數(shù)據(jù)集，但根據(jù)任務(wù)/領(lǐng)域，此類現(xiàn)成數(shù)據(jù)集的選擇會(huì)進(jìn)一步縮小。

通常，甚至沒(méi)有足夠的數(shù)據(jù)來(lái)訓(xùn)練模型。以欺詐為例。據(jù)推測(cè)，組織并沒(méi)有充斥著猖獗的欺詐行為，因此對(duì)欺詐場(chǎng)景的了解有限。但他們需要使用廣泛的欺詐可能性來(lái)訓(xùn)練模型。合成數(shù)據(jù)是提供高質(zhì)量數(shù)據(jù)以提高LLM研究和開(kāi)發(fā)速度的答案。

合成數(shù)據(jù)可以定義為不是直接從任何現(xiàn)實(shí)世界數(shù)據(jù)獲得的數(shù)據(jù)，而是模仿現(xiàn)實(shí)世界數(shù)據(jù)的屬性和特征而人為創(chuàng)建的數(shù)據(jù)。綜合數(shù)據(jù)集可能是提供高質(zhì)量數(shù)據(jù)的辦法，以提高許多用例中的LLM研究和開(kāi)發(fā)速度。

使用合成數(shù)據(jù)的主要優(yōu)點(diǎn)之一是它可以保護(hù)最終用戶的隱私，遵守版權(quán)問(wèn)題，并使企業(yè)能夠滿足原始來(lái)源的隱私要求。也避免了信息的無(wú)意泄露，同時(shí)模型研發(fā)不斷取得進(jìn)展。合成數(shù)據(jù)對(duì)于滿足訓(xùn)練大型語(yǔ)言模型不斷增長(zhǎng)的需求非常重要。通過(guò)正確的解決方案，可以以經(jīng)濟(jì)高效的方式解決大型語(yǔ)言模型所需的高質(zhì)量數(shù)據(jù)，并為人工智能研究、模型開(kāi)發(fā)和評(píng)估提供持續(xù)動(dòng)力。有一些想法可以使用前沿模型本身生成合成數(shù)據(jù)集。盡管如此，很明顯，創(chuàng)建和使用合成數(shù)據(jù)集有可能解決日益饑餓的模型對(duì)更多數(shù)據(jù)的需求。

我們知道，考慮到任務(wù)的性質(zhì)，這樣的生態(tài)系統(tǒng)/服務(wù)線在解決高質(zhì)量數(shù)據(jù)集的需求方面發(fā)揮作用有很大的動(dòng)力。如今，各種初創(chuàng)公司和服務(wù)提供商專門致力于圍繞通用培訓(xùn)數(shù)據(jù)需求提供帶注釋的圖像和文本數(shù)據(jù)。然而，有可能進(jìn)一步擴(kuò)展這些服務(wù)，以包含領(lǐng)域/任務(wù)特定數(shù)據(jù)集的需求，這一趨勢(shì)可能會(huì)在 2024 年出現(xiàn)勢(shì)頭。

C 集成向量數(shù)據(jù)庫(kù)

選擇矢量數(shù)據(jù)庫(kù)具有挑戰(zhàn)性。有多種因素在起作用，包括可擴(kuò)展性、延遲、成本、每秒查詢次數(shù)等。傳統(tǒng)數(shù)據(jù)庫(kù)的主要用例是關(guān)鍵字查詢與使用上下文搜索。大多數(shù)企業(yè)應(yīng)用程序可能需要這兩種功能。因此，我們的選擇是在傳統(tǒng) DBMS 中引入矢量數(shù)據(jù)庫(kù)功能。

大多數(shù)未來(lái)的企業(yè)人工智能應(yīng)用程序都需要處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。管理多個(gè)數(shù)據(jù)庫(kù)會(huì)導(dǎo)致效率低下、潛在的競(jìng)爭(zhēng)條件、OLAP 數(shù)據(jù)與矢量數(shù)據(jù)庫(kù)中的矢量索引之間的數(shù)據(jù)不一致以及導(dǎo)致數(shù)據(jù)不一致的管理開(kāi)銷。

因此，集成矢量數(shù)據(jù)庫(kù)最適合需要最佳查詢功能和語(yǔ)義搜索的應(yīng)用程序。例如，矢量數(shù)據(jù)庫(kù)不僅可以嵌入組織的財(cái)務(wù)報(bào)告，還可以對(duì)這些數(shù)據(jù)模型建立索引并將它們存儲(chǔ)在同一數(shù)據(jù)庫(kù)中，同時(shí)提供語(yǔ)義/相似性搜索功能。

許多 DBMS 和 Lakehouse 參與者正在將向量嵌入和搜索功能納入其現(xiàn)有產(chǎn)品中。隨著企業(yè)構(gòu)建和部署 LLM 用例，具有語(yǔ)義搜索功能的集成數(shù)據(jù)庫(kù)/湖屋可能會(huì)在 2024 年獲得進(jìn)一步的關(guān)注。

構(gòu)建人工智能應(yīng)用程序的最常見(jiàn)技術(shù)是檢索增強(qiáng)生成（RAG），它結(jié)合了LLM和組織業(yè)務(wù)數(shù)據(jù)來(lái)提供對(duì)自然語(yǔ)言問(wèn)題的響應(yīng)。RAG 集成了一個(gè)流程，在調(diào)用 LLM 完成 API 之前，首先搜索矢量化數(shù)據(jù)的相似性，從而提高響應(yīng)準(zhǔn)確性。

我們看到兩個(gè)影響 RAG 用例的趨勢(shì)。其中之一與不斷增加的 LLM 上下文大小有關(guān)，它可以直接獲取輸入數(shù)據(jù)，而無(wú)需通過(guò)數(shù)據(jù)庫(kù)進(jìn)行路由。這降低了執(zhí)行額外且復(fù)雜的 RAG 步驟的需要。然而，這并沒(méi)有減少對(duì)矢量數(shù)據(jù)庫(kù)的需求，因?yàn)樗鼈冾A(yù)先過(guò)濾了LLM的提示，這使得人工智能應(yīng)用程序具有成本效益和高性能。他們還可以緩存提示及其響應(yīng)，從而避免對(duì) LLM 進(jìn)行不必要且昂貴的 API 調(diào)用以進(jìn)行重復(fù)查詢。這些精選數(shù)據(jù)將來(lái)可用于微調(diào)組織的 SLM。

四、人工智能治理

高管們要求他們的領(lǐng)導(dǎo)者快速跟蹤人工智能項(xiàng)目，因?yàn)樗麄兛释麖乃薪Y(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)中提取前所未有的見(jiàn)解。然而，IT 領(lǐng)導(dǎo)者知道，將人工智能應(yīng)用到底層數(shù)據(jù)基礎(chǔ)設(shè)施絕非易事。他們知道人工智能應(yīng)用程序的成功取決于確保數(shù)據(jù)質(zhì)量、安全性、隱私和治理。因此，需要人工智能治理。但它到底是什么？

人工智能治理，就像數(shù)據(jù)治理一樣，需要一個(gè)共同的定義。事實(shí)上，人工智能治理應(yīng)該與數(shù)據(jù)治理齊頭并進(jìn)。

與傳統(tǒng)人工智能相比，生成式人工智能的用戶范圍要廣泛得多。此外， AI代理還引入了向量搜索、RAG和提示工程等新概念。因此，現(xiàn)代人工智能治理必須滿足多種角色的需求，例如模型所有者和驗(yàn)證者、審計(jì)團(tuán)隊(duì)、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、MLOps 工程師、合規(guī)性、隱私和數(shù)據(jù)安全團(tuán)隊(duì)等。

在最高層面，人工智能治理需要跨兩個(gè)層面應(yīng)用

• 模型訓(xùn)練或微調(diào)：治理任務(wù)包括識(shí)別正確的數(shù)據(jù)源、其保真度、數(shù)據(jù)漂移、模型權(quán)重和評(píng)估結(jié)果。比較版本之間的模型指標(biāo)的能力可以進(jìn)一步幫助了解模型性能的趨勢(shì)。具體來(lái)說(shuō)，在 CPU 和 GPU 上使用不同模型的每次迭代的訓(xùn)練成本是人工智能治理的重要考慮因素。目前，由于資源要求非常高，參與基礎(chǔ)模型訓(xùn)練的廠商很少。隨著近年來(lái)這些成本的下降，越來(lái)越多的團(tuán)隊(duì)正在進(jìn)行微調(diào)。隨著成本進(jìn)一步下降，我們可能會(huì)看到更多的組織或部門訓(xùn)練自己的模型。
• 模型使用/推理：治理任務(wù)需要確保業(yè)務(wù)使用安全。任務(wù)包括風(fēng)險(xiǎn)識(shí)別和風(fēng)險(xiǎn)緩解、模型的可解釋性、成本以及使用人工智能模型實(shí)現(xiàn)業(yè)務(wù)用例目標(biāo)的性能。

下圖顯示了人工智能治理計(jì)劃的構(gòu)建模塊。

人工智能治理計(jì)劃由四個(gè)構(gòu)建模塊組成：

1.模型發(fā)現(xiàn)

模型正在快速激增，反映了該領(lǐng)域的動(dòng)態(tài)和不斷擴(kuò)展的性質(zhì)。到 2023 年底，Hugging Face 的模特?cái)?shù)量已接近 50 萬(wàn)。問(wèn)題是，當(dāng)這些出現(xiàn)在您的人工智能框架（如 Google Cloud 的 Vertex Model Garden 或 AWS Bedrock）中時(shí)，開(kāi)發(fā)人員將開(kāi)始使用其中的一些，無(wú)論是否經(jīng)過(guò)風(fēng)險(xiǎn)管理和合規(guī)團(tuán)隊(duì)的批準(zhǔn)。為了克服這個(gè)問(wèn)題，許多人開(kāi)始采用模型目錄。

在這里，目錄的目的是發(fā)現(xiàn)正在使用的模型、它們的版本號(hào)和批準(zhǔn)狀態(tài)。它還記錄了模型的所有者、其目的和用途。對(duì)于批準(zhǔn)的模型，目錄將顯示用于訓(xùn)練模型的數(shù)據(jù)集、模型的評(píng)估方式及其公平性評(píng)分。風(fēng)險(xiǎn)記分卡捕獲模型的漏洞及其影響，并應(yīng)定期審查以確保風(fēng)險(xiǎn)在閾值內(nèi)。

理想情況下，模型目錄應(yīng)該是數(shù)據(jù)目錄的擴(kuò)展，這樣就不存在數(shù)據(jù)和人工智能治理的碎片。

2.模型消費(fèi)

在模型消費(fèi)中，人工智能治理的重點(diǎn)是將業(yè)務(wù)用例映射到批準(zhǔn)的模型并識(shí)別數(shù)據(jù)安全風(fēng)險(xiǎn)。人工智能治理的這一部分處理對(duì)企業(yè)數(shù)據(jù)的不安全使用、提示注入和數(shù)據(jù)丟失的擔(dān)憂。

它還負(fù)責(zé)跟蹤整個(gè)模型生命周期譜系，包括法律、CISO、CDO、審計(jì)師等的批準(zhǔn)，一直到模型退役?？刂频轿缓螅梢约涌炷Ｐ筒渴鸬缴a(chǎn)中的速度。

治理工具不僅應(yīng)該允許識(shí)別偏見(jiàn)、危害、泄露、知識(shí)產(chǎn)權(quán)侵權(quán)等領(lǐng)域的風(fēng)險(xiǎn)，還應(yīng)該記錄風(fēng)險(xiǎn)緩解策略。人工智能治理工具應(yīng)該有助于提供模型的可解釋性。

3.持續(xù)監(jiān)控

一旦部署了批準(zhǔn)的模型，他們需要有一種機(jī)制來(lái)跟蹤它們的大規(guī)模表現(xiàn)，并自動(dòng)掃描響應(yīng)中是否存在幻覺(jué)和其他不安全內(nèi)容。人工智能模型的最大問(wèn)題之一是它們的不確定性反應(yīng)可能會(huì)導(dǎo)致幻覺(jué)。因此，監(jiān)測(cè)準(zhǔn)確性和相關(guān)性非常關(guān)鍵。隨著更多人工智能模型在 2024 年投入生產(chǎn)，跟蹤其性能和成本將變得至關(guān)重要。

需要不斷監(jiān)控上述風(fēng)險(xiǎn)領(lǐng)域是否存在無(wú)法解釋的變化和異常。在檢測(cè)到異常情況時(shí)，應(yīng)智能地發(fā)出警報(bào)和通知，而不會(huì)造成“警報(bào)疲勞”。

盡管數(shù)據(jù)安全和隱私任務(wù)貫穿人工智能治理的每個(gè)部分，但監(jiān)控用戶、他們的權(quán)利和相關(guān)的安全策略是一個(gè)重要組成部分。

4.風(fēng)險(xiǎn)管理

模型記分卡、推理/使用監(jiān)控?cái)?shù)據(jù)集和儀表板以及工作流程自動(dòng)化對(duì)于維持人工智能應(yīng)用程序的健康以及及時(shí)采取補(bǔ)救措施以應(yīng)對(duì)預(yù)期性能的任何下降至關(guān)重要。自動(dòng)化工作流程可以幫助創(chuàng)建數(shù)據(jù)和模型推理 KPI，并根據(jù)需要觸發(fā)警報(bào)，以確保模型所有者可以啟動(dòng)補(bǔ)救措施。

該工具應(yīng)提供事件管理功能來(lái)記錄解決事件所采取的步驟。最后，工作流程應(yīng)允許評(píng)估遵守相關(guān)的人工智能法規(guī)，例如NIST 人工智能風(fēng)險(xiǎn)管理框架。

人工智能治理是任何人工智能計(jì)劃取得成功的基礎(chǔ)。我們預(yù)計(jì) 2024 年傳統(tǒng)數(shù)據(jù)目錄公司等多個(gè)供應(yīng)商以及 IBM等大型平臺(tái)提供商將主要關(guān)注人工智能治理。Databricks 的 Unity Catalog 已經(jīng)將數(shù)據(jù)目錄與 AI 模型元數(shù)據(jù)融合在一起。

2023 年最后幾天發(fā)布的幾項(xiàng)新法規(guī)和標(biāo)準(zhǔn)進(jìn)一步加速了這一重點(diǎn)。從歐盟人工智能法案到ISO 42001 ，再到 OpenAI 的準(zhǔn)備框架，它們都旨在促進(jìn)負(fù)責(zé)任地使用人工智能。例如，OpenAI 框架有四個(gè)目標(biāo)——“跟蹤、評(píng)估、預(yù)測(cè)和保護(hù)”模型風(fēng)險(xiǎn)。