介紹

在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代，數(shù)據(jù)治理已從單純的法規(guī)遵及數(shù)據(jù)質(zhì)量從發(fā)展成為推動(dòng)明智決策的戰(zhàn)略舉措。在之前的探索中，我們深入研究了 OpenAI API 的潛力，以自動(dòng)填充術(shù)語(yǔ)定義，從而提高數(shù)據(jù)治理任務(wù)的效率。今天，我們踏上了超越傳統(tǒng)的旅程，來(lái)到數(shù)據(jù)治理 3.0時(shí)代，我們將數(shù)據(jù)治理工具與大型語(yǔ)言模型 (LLM) 無(wú)縫集成，它們具有理解和生成類似人類文本的能力，處于這場(chǎng)革命的前沿，自動(dòng)執(zhí)行大量任務(wù)并增強(qiáng)用戶體驗(yàn)。

LLM（例如 OpenAI 的 GPT-3）徹底改變了我們對(duì)自動(dòng)化的看法。憑借其理解和生成類似人類的文本的能力，它們?yōu)樽詣?dòng)化傳統(tǒng)上手動(dòng)且耗時(shí)的任務(wù)開辟了無(wú)數(shù)機(jī)會(huì)。讓我們深入研究 LLM 如何重新定義數(shù)據(jù)治理格局。

治理 3.0 代表了組織管理和治理數(shù)據(jù)方式的范式轉(zhuǎn)變。它不是要取代傳統(tǒng)的治理方法，而是要增強(qiáng)它們。治理 3.0 利用現(xiàn)有治理系統(tǒng)提供的大量 API 和 SDK 來(lái)擴(kuò)展其基本功能。結(jié)合大型語(yǔ)言模型和人工智能的強(qiáng)大功能，這種方法使組織能夠自動(dòng)執(zhí)行任務(wù)、集成系統(tǒng)并提高效率。治理 3.0 的優(yōu)點(diǎn)在于它能夠增強(qiáng)現(xiàn)有系統(tǒng)、確保法規(guī)遵從性、提高數(shù)據(jù)質(zhì)量并促進(jìn)高效的數(shù)據(jù)管理，而無(wú)需進(jìn)行顛覆性改變。

向數(shù)據(jù)資產(chǎn)所有者推薦：人工智能視角

LLM 可以分析使用模式和訪問(wèn)權(quán)限，以推薦最合適的數(shù)據(jù)資產(chǎn)所有者。此過(guò)程涉及分析誰(shuí)經(jīng)常訪問(wèn)和修改數(shù)據(jù)資產(chǎn)、誰(shuí)擁有必要的權(quán)限以及誰(shuí)根據(jù)其角色或過(guò)去的項(xiàng)目擁有相關(guān)專業(yè)知識(shí)。

例如，如果某個(gè)用戶經(jīng)常訪問(wèn)和更新數(shù)據(jù)資產(chǎn)，并且他們?cè)诮M織中的角色與數(shù)據(jù)的性質(zhì)相符，LLM 可能會(huì)推薦他們作為數(shù)據(jù)資產(chǎn)所有者。然后，數(shù)據(jù)管理員或經(jīng)理可以審查和批準(zhǔn)此建議，確保最終決策由人參與。

這種由人工智能驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)所有權(quán)分配方法可確保問(wèn)責(zé)制并促進(jìn)負(fù)責(zé)任的數(shù)據(jù)管理。它還有助于保持?jǐn)?shù)據(jù)治理框架的最新狀態(tài)，因?yàn)殡S著角色的變化或新數(shù)據(jù)資產(chǎn)的創(chuàng)建，可以重新評(píng)估和更新數(shù)據(jù)資產(chǎn)所有權(quán)。這不僅可以提高數(shù)據(jù)治理流程的效率，還可以確保數(shù)據(jù)資產(chǎn)由最合適的個(gè)人管理，從而提高數(shù)據(jù)質(zhì)量和信任度。

保護(hù)數(shù)據(jù)：自動(dòng)審查訪問(wèn)和策略

LLM 可以解釋安全策略，使其能夠自動(dòng)審查和標(biāo)記潛在的訪問(wèn)違規(guī)行為。這涉及分析用戶角色、訪問(wèn)模式和數(shù)據(jù)資產(chǎn)的敏感度，以確定訪問(wèn)權(quán)限是否符合既定的安全策略。

例如，如果用戶的角色通常不需要訪問(wèn)敏感數(shù)據(jù)資產(chǎn)，但用戶經(jīng)常訪問(wèn)它，LLM 可能會(huì)將此標(biāo)記為潛在違規(guī)行為。同樣，LLM 可以根據(jù)觀察到的訪問(wèn)模式和不斷變化的業(yè)務(wù)需求建議修改安全策略。

這種主動(dòng)方法不僅可以增強(qiáng)數(shù)據(jù)安全性和合規(guī)性，還有助于維護(hù)最小權(quán)限原則，確保用戶只能訪問(wèn)他們需要的數(shù)據(jù)。通過(guò)自動(dòng)審查訪問(wèn)權(quán)限和策略，我們可以在不斷變化的數(shù)據(jù)格局和監(jiān)管要求下維護(hù)強(qiáng)大而安全的數(shù)據(jù)治理框架。

語(yǔ)境感知翻譯：利用人工智能跨越語(yǔ)言障礙

在數(shù)據(jù)治理領(lǐng)域，語(yǔ)言障礙可能帶來(lái)重大挑戰(zhàn)，尤其是對(duì)于在不同地區(qū)運(yùn)營(yíng)的全球組織而言。這時(shí)大語(yǔ)言模型 (LLM) 的強(qiáng)大功能便得以發(fā)揮，它能夠?qū)崿F(xiàn)超越逐字逐句翻譯的上下文感知翻譯。通過(guò)理解文本的上下文，大語(yǔ)言模型 (LLM) 可以提供更準(zhǔn)確、更有意義的翻譯，確保保留原文的本質(zhì)和細(xì)微差別。例如，大語(yǔ)言模型 (LLM) 可以將復(fù)雜的技術(shù)定義翻譯成多種語(yǔ)言，同時(shí)保持技術(shù)術(shù)語(yǔ)和概念的完整性并考慮任何必要的元數(shù)據(jù)。這種能力可以顯著增強(qiáng)組織內(nèi)的跨文化協(xié)作和理解，使數(shù)據(jù)治理更具包容性和有效性。

通過(guò)自動(dòng)定義豐富詞匯表術(shù)語(yǔ)

基于我們之前的工作，我們可以擴(kuò)展 LLM 的使用范圍，為大量詞匯表術(shù)語(yǔ)生成定義和其他類型的元數(shù)據(jù)。利用 OpenAI API 自動(dòng)填充術(shù)語(yǔ)定義，不僅減少了數(shù)據(jù)管理員所需的手動(dòng)工作量，而且還確保了整個(gè)組織的一致理解。

自動(dòng)實(shí)體鏈接：連接術(shù)語(yǔ)和數(shù)據(jù)資產(chǎn)

大型語(yǔ)言模型在數(shù)據(jù)治理中最強(qiáng)大的應(yīng)用之一是自動(dòng)實(shí)體鏈接。此過(guò)程涉及識(shí)別詞匯表術(shù)語(yǔ)和數(shù)據(jù)資產(chǎn)之間的相關(guān)聯(lián)系，從而創(chuàng)建更全面、更互聯(lián)的數(shù)據(jù)治理框架。

通過(guò)自動(dòng)實(shí)體鏈接，LLM 可以分析數(shù)據(jù)資產(chǎn)的上下文和內(nèi)容，并將其鏈接到適當(dāng)?shù)脑~匯表術(shù)語(yǔ)。這不僅可以增強(qiáng)數(shù)據(jù)資產(chǎn)的元數(shù)據(jù)，還可以通過(guò)現(xiàn)實(shí)世界的示例和應(yīng)用豐富詞匯表術(shù)語(yǔ)。

例如，包含客戶交易信息的數(shù)據(jù)資產(chǎn)可以自動(dòng)鏈接到“客戶 ID”、“交易金額”或“購(gòu)買日期”等詞匯表術(shù)語(yǔ)。這為詞匯表術(shù)語(yǔ)的理論定義與其在數(shù)據(jù)資產(chǎn)中的實(shí)際實(shí)施提供了直接聯(lián)系。

這種自動(dòng)化程度大大減少了維護(hù)和更新這些鏈接所需的人工工作量，確保數(shù)據(jù)治理框架在創(chuàng)建新數(shù)據(jù)資產(chǎn)和更新現(xiàn)有數(shù)據(jù)資產(chǎn)時(shí)保持最新和相關(guān)性。此外，它還為用戶提供了對(duì)其數(shù)據(jù)格局的更全面了解，促進(jìn)更有效、更明智的數(shù)據(jù)使用和決策。

追溯血統(tǒng)：從代碼到見解

LLM 可以理解代碼，這項(xiàng)技能可以用來(lái)識(shí)別自定義應(yīng)用程序的血統(tǒng)。這可以簡(jiǎn)化跨管道和記錄來(lái)跟蹤數(shù)據(jù)轉(zhuǎn)換的復(fù)雜任務(wù)。

例如，考慮一個(gè) SQL 存儲(chǔ)過(guò)程，它從多個(gè)表中提取數(shù)據(jù)，執(zhí)行轉(zhuǎn)換，然后將結(jié)果加載到另一個(gè)表中。傳統(tǒng)上，了解此過(guò)程的沿襲需要手動(dòng)檢查代碼并深入了解數(shù)據(jù)庫(kù)架構(gòu)。

CREATE  PROCEDURE update_customer_orders
AS
BEGIN
   -- 從 Customers 和 Orders 表中提取數(shù)據(jù)
   SELECT Customers.CustomerName, Orders.OrderID
   INTO #TempTable
   FROM Customers
   JOIN Orders ON Customers.CustomerID = Orders.CustomerID;
   
   -- 對(duì)數(shù)據(jù)執(zhí)行轉(zhuǎn)換
   UPDATE #TempTable
   SET CustomerName =  UPPER (CustomerName);
   
   -- 將結(jié)果加載到 CustomerOrders 表中
   INSERT  INTO CustomerOrders(CustomerName, OrderID)
   SELECT CustomerName, OrderID FROM #TempTable;
   
   DROP  TABLE #TempTable;
END ;

以下是 Azure OpenAI 如何提取血緣信息并以 JSON 格式呈現(xiàn)的示例：

{
   “Stored_Procedure” ：“update_customer_orders” ，
   “Data_Sources” ：[
       {
           “表” ：“客戶” ，
           “字段” ：[ “客戶名稱” ， “客戶ID” ]
       } ，
       {
           “表” ：“訂單” ，
           “字段” ：[ “訂單ID” ， “客戶ID” ]
       }
   ] ，
   “轉(zhuǎn)換” ：[
       {
           “操作” ：“UPPER” ，
           “字段” ：“客戶名稱” ，
           “Source_Table” ：“#TempTable”
       }
   ] ，
   “Data_Destination” ：{
       “表” ：“客戶訂單” ，
       “字段” ：[ “客戶名稱” ， “訂單ID” ]
   }
}

借助 LLM，我們可以自動(dòng)化此過(guò)程。該模型可以讀取和理解任何類型的代碼，識(shí)別正在訪問(wèn)哪些表、正在應(yīng)用哪些轉(zhuǎn)換以及結(jié)果存儲(chǔ)在何處。然后，它可以生成數(shù)據(jù)沿襲的人類可讀描述，甚至可以生成顯示數(shù)據(jù)流的可視化圖表。

自動(dòng)沿襲跟蹤，特別是在許多基于代碼的操作等無(wú)法直接提取沿襲的場(chǎng)景中，可以改變數(shù)據(jù)治理的游戲規(guī)則。雖然目前的工具擅長(zhǎng)跟蹤結(jié)構(gòu)化、基于模式的數(shù)據(jù)源中的沿襲，但它們通常難以處理基于代碼的操作，如存儲(chǔ)過(guò)程、腳本或自定義應(yīng)用程序。利用 LLM 的強(qiáng)大功能可以彌補(bǔ)這一差距，減少手動(dòng)工作量并確保隨著代碼的演變而準(zhǔn)確跟蹤沿襲。這種全面的數(shù)據(jù)沿襲方法涵蓋基于模式和基于代碼的數(shù)據(jù)操作，是數(shù)據(jù)治理 3.0 的一個(gè)關(guān)鍵方面，可提供完整而準(zhǔn)確的數(shù)據(jù)整體視圖。

整理數(shù)據(jù)資產(chǎn)：人工智能驅(qū)動(dòng)的方法

LLM 可以分析和生成數(shù)據(jù)資產(chǎn)的描述性元數(shù)據(jù)，從而改變我們管理數(shù)據(jù)的方式。這涉及了解數(shù)據(jù)資產(chǎn)的內(nèi)容、背景和用途，然后生成相關(guān)元數(shù)據(jù)，例如定義、摘要、關(guān)鍵字或標(biāo)簽。

例如，大語(yǔ)言模型 (LLM) 可以分析客戶交易數(shù)據(jù)集，識(shí)別交易日期范圍、最常見的交易類型和平均交易金額等關(guān)鍵特征，然后為數(shù)據(jù)集生成摘要描述和相關(guān)標(biāo)簽。

這種自動(dòng)化的管理流程不僅減少了數(shù)據(jù)管理所需的人工工作量，還提高了數(shù)據(jù)資產(chǎn)的可發(fā)現(xiàn)性。通過(guò)生成豐富、準(zhǔn)確且最新的元數(shù)據(jù)，LLM 使用戶更容易搜索和發(fā)現(xiàn)相關(guān)數(shù)據(jù)，從而提高數(shù)據(jù)可訪問(wèn)性并促進(jìn)數(shù)據(jù)驅(qū)動(dòng)的決策。

對(duì)齊本體：人工智能橋梁

LLM 可以協(xié)調(diào)組織內(nèi)的不同本體或分類法，這項(xiàng)任務(wù)在醫(yī)療保健、制造業(yè)、金融等領(lǐng)域至關(guān)重要，因?yàn)檫@些領(lǐng)域經(jīng)常使用多個(gè)復(fù)雜的本體。

在醫(yī)療保健領(lǐng)域，組織可能會(huì)在不同的系統(tǒng)中同時(shí)使用醫(yī)學(xué)系統(tǒng)命名法 - 臨床術(shù)語(yǔ) (SNOMED CT) 和邏輯觀察標(biāo)識(shí)符名稱和代碼 (LOINC)。LLM 可以識(shí)別這些本體中的術(shù)語(yǔ)之間的等價(jià)性，例如 LOINC 代碼“2160-0”和 SNOMED CT 代碼“27113001”，均指“血清肌酐”。

在制造業(yè)中，本體可能包含針對(duì)零件和工藝的不同分類系統(tǒng)。例如，一個(gè)系統(tǒng)可能將某個(gè)零件分類為“螺栓，六角，M8，鋼制”，而另一個(gè)系統(tǒng)將同一零件稱為“鋼制六角螺栓，8 毫米”。大語(yǔ)言模型可以理解這些術(shù)語(yǔ)指的是同一零件，并將它們排列在統(tǒng)一的本體中。

在金融領(lǐng)域，不同的系統(tǒng)可能會(huì)對(duì)相同的金融概念使用不同的術(shù)語(yǔ)，例如“凈收入”、“凈收益”。LLM 可以將這些術(shù)語(yǔ)視為等同術(shù)語(yǔ)，并在統(tǒng)一的本體中對(duì)其進(jìn)行對(duì)齊。

這種無(wú)縫集成提供了數(shù)據(jù)環(huán)境的一致視圖，增強(qiáng)了數(shù)據(jù)互操作性。它確保所有系統(tǒng)中都一致地引用相同的概念，從而減少混亂并提高數(shù)據(jù)分析和報(bào)告的準(zhǔn)確性。通過(guò)自動(dòng)化本體對(duì)齊過(guò)程，LLM 可以幫助各個(gè)部門的組織更有效地管理其數(shù)據(jù)，從而做出更明智的決策并改善結(jié)果。

超越關(guān)鍵詞：語(yǔ)義搜索時(shí)代

LLM 可以在數(shù)據(jù)治理工具中啟用語(yǔ)義搜索功能。這使用戶能夠根據(jù)查詢的含義和上下文找到相關(guān)的數(shù)據(jù)資產(chǎn)，從而超越基于關(guān)鍵字的搜索的限制。

為了讓這些概念變得生動(dòng)，讓我們深入研究一個(gè)非常簡(jiǎn)單的例子，了解如何通過(guò) Atlas API 將任何問(wèn)題轉(zhuǎn)換為搜索查詢，并根據(jù) API 響應(yīng)生成答案。

LLM 可在數(shù)據(jù)治理工具中啟用語(yǔ)義搜索功能，開啟數(shù)據(jù)發(fā)現(xiàn)的新時(shí)代。與傳統(tǒng)的基于關(guān)鍵字的搜索（僅查找搜索詞的精確匹配）不同，語(yǔ)義搜索可以理解查詢的含義和上下文。這樣，即使用戶不知道這些資產(chǎn)中使用的確切術(shù)語(yǔ)，他們也可以找到相關(guān)的數(shù)據(jù)資產(chǎn)。

假設(shè)有用戶查詢“我們的銷售數(shù)據(jù)庫(kù)中與‘CustomerID’列關(guān)聯(lián)的業(yè)務(wù)術(shù)語(yǔ)表定義是什么？”在傳統(tǒng)的基于關(guān)鍵字的搜索中，系統(tǒng)可能很難返回有意義的結(jié)果。但是，由 LLM 提供支持的語(yǔ)義搜索可以理解用戶正在尋找與特定數(shù)據(jù)資產(chǎn)關(guān)聯(lián)的業(yè)務(wù)術(shù)語(yǔ)表術(shù)語(yǔ)。然后，它可以查詢銷售數(shù)據(jù)庫(kù)中的‘CustomerID’列的數(shù)據(jù)治理工具，找到關(guān)聯(lián)的業(yè)務(wù)術(shù)語(yǔ)表術(shù)語(yǔ)，并返回其定義。

為了將這些概念付諸實(shí)踐，讓我們深入研究一個(gè)非常簡(jiǎn)單的示例，說(shuō)明如何通過(guò) Atlas API 將任何問(wèn)題轉(zhuǎn)換為搜索查詢，并根據(jù) API 響應(yīng)生成答案。這種方法利用 LLM 的強(qiáng)大功能來(lái)理解用戶的意圖，將該意圖轉(zhuǎn)化為 API 可以理解的查詢，然后解釋 API 響應(yīng)以生成用戶友好的答案。

導(dǎo)入streamlit作為st
導(dǎo)入pandas作為pd
導(dǎo)入openai
導(dǎo)入請(qǐng)求
導(dǎo)入json
從azure.purview.catalog導(dǎo)入PurviewCatalogClient
從azure.purview.administration.account導(dǎo)入PurviewAccountClient
從azure.identity導(dǎo)入ClientSecretCredential
從azure.core.exceptions導(dǎo)入HttpResponseError
導(dǎo)入os
openai.api_key = os.environ.get( 'OPENAI_API_KEY' )
openai.api_base = os.environ.get( 'OPENAI_API_ENDPOINT' ) # 您的端點(diǎn)應(yīng)如下所示 https://YOUR_RESOURCE_NAME.openai.azure.com/
openai.api_type = 'azure'
openai.api_version = "2023-03-15-preview" # 這可能會(huì)在未來(lái)發(fā)生變化
deploy_id= 'gpt4-8k'  # 這將對(duì)應(yīng)于您在部署時(shí)為部署選擇的自定義名稱一個(gè)模型。

client_id = os.environ( 'CLIENT_ID' )
client_secret = os.environ( 'CLIENT_SECRET' ) tenant_id
= os.environ( ' AZURE_TENANT_ID' )
reference_name_purview = os.environ( 'PURVIEW_NAME' )

def  get_credentials ():
credentials = ClientSecretCredential(client_id=client_id, client_secret=client_secret, tenant_id=tenant_id)
返回憑據(jù)

def  get_purview_client ():
credentials = get_credentials()
client=PurviewCatalogClient(endpoint=f"https://{reference_name_purview} .purview.azure.com" , credential=credentials, logs_enable= True )  
返回客戶端

def  get_admin_client ():
credentials = get_credentials()
client=PurviewAccountClient(endpoint=f"https://{reference_name_purview} .purview.azure.com/"，credential=credentials，logging_enable= True )
返回客戶端



def  search ( question ):
   print ( "提取術(shù)語(yǔ)搜索" )
   system_message = "您是一位助手，會(huì)將問(wèn)題轉(zhuǎn)換為關(guān)鍵字搜索，然后在 Microsoft Purview 環(huán)境中執(zhí)行。"
   prompt = “給出以下問(wèn)題，請(qǐng)?zhí)峁┠鷮⒂脕?lái)通過(guò)使用 Microsoft Purview Search API 端點(diǎn)進(jìn)行搜索來(lái)查找問(wèn)題答案的搜索詞。問(wèn)題是：'” +question+ “'”
    terms = ask_gpt4（deployment_id，system_message，prompt）
   返回術(shù)語(yǔ)
       
def  generate_answer（question，context）：
   print（“根據(jù) Purview 搜索生成問(wèn)題的答案”）
   prompt = “”給出以下問(wèn)題和上下文（json 格式），請(qǐng)生成問(wèn)題的答案。僅根據(jù)提供的上下文參考您提供的數(shù)據(jù)資產(chǎn)或術(shù)語(yǔ)來(lái)回答。如果有潛在的答案，請(qǐng)列出所有答案。
    問(wèn)題：{question}
    上下文：{context}
    記住僅根據(jù)您提供的上下文回答并引用該上下文！“””。格式（問(wèn)題=問(wèn)題，上下文=上下文）
   system_message = “您是一名助手，您將僅根據(jù)通過(guò) API 提供的信息來(lái)回答一些問(wèn)題。”
    result = ask_gpt4(deployment_id, system_message, prompt)
   返回結(jié)果



def  ask_gpt4 ( engine_model, sys_message, question ):
   chatlog = [{
           'role' : 'system' ,
           'content' : sys_message,
       }]
   chatlog.append({ 'role' : 'user' , 'content' : question})
   response = openai.ChatCompletion.create(engine=engine_model, messages=chatlog)
   answer = response.choices[ 0 ][ 'message' ][ 'content' ]
   chatlog.append({ 'role' : 'assistant' , 'content' : answer})
   返回答案

if __name__ == '__main__' :
   print ( "GET 連接到 Purview" )
   credential = get_credentials()
   purview_catalog_client = get_purview_client()
   print (purview_catalog_client)
   st.title( 'Purview Search Copilot' )
   question = st.text_input( '輸入您的問(wèn)題' ,'' )
   如果(問(wèn)題！= '' ):
       search_terms = search(問(wèn)題)
       嘗試：
           
           st.write（'您搜索了：'，search_terms）
           body_input = {
               “關(guān)鍵字”：search_terms
           }
           context = purview_catalog_client.discovery.query（search_request = body_input）
           打印（context）
           響應(yīng) = generate_answer（question，context）
           打印（response）
           st.write（'結(jié)果：'，response）
       
       除了HttpResponseError作為e：
           打印（e）

接下來(lái)您將看到 Streamlit 應(yīng)用程序的搜索屏幕截圖：

與數(shù)據(jù)對(duì)話：

想象一下，與數(shù)據(jù)治理工具的互動(dòng)就像與同事的互動(dòng)一樣。隨著 LLM 的整合，這不再是一個(gè)未來(lái)的夢(mèng)想，而是現(xiàn)實(shí)。LLM 可以為聊天機(jī)器人或語(yǔ)音助手等對(duì)話界面提供支持，使用戶能夠使用自然語(yǔ)言與數(shù)據(jù)治理工具互動(dòng)。

例如，用戶可以詢問(wèn)聊天機(jī)器人，“我們的銷售數(shù)據(jù)庫(kù)中‘CustomerID’字段的定義是什么？”或“誰(shuí)有權(quán)訪問(wèn)我們的財(cái)務(wù)數(shù)據(jù)？”。由大語(yǔ)言模型提供支持的聊天機(jī)器人可以理解問(wèn)題，查詢數(shù)據(jù)治理工具，并以自然語(yǔ)言返回清晰、簡(jiǎn)潔的答案。

這可以通過(guò)導(dǎo)出實(shí)例的備份并將該數(shù)據(jù)索引到認(rèn)知搜索中并利用其中一個(gè)存儲(chǔ)庫(kù)來(lái)輕松實(shí)現(xiàn)。

這種轉(zhuǎn)換可以通過(guò)一個(gè)簡(jiǎn)單的過(guò)程實(shí)現(xiàn)，該過(guò)程利用工具套件的功能。首先，您將導(dǎo)出實(shí)例的備份。此備份將包含收集和組織的所有有價(jià)值的元數(shù)據(jù)和數(shù)據(jù)目錄信息。

接下來(lái)，您將這些數(shù)據(jù)索引到認(rèn)知搜索中，這是一項(xiàng)功能強(qiáng)大的 AI 搜索服務(wù)，可讓您以多種方式搜索這些復(fù)雜的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。認(rèn)知搜索可以處理自然語(yǔ)言查詢，使其成為與大型語(yǔ)言模型集成的理想平臺(tái)。

最后，為了簡(jiǎn)化此過(guò)程并確保最佳實(shí)踐，您可以利用存儲(chǔ)庫(kù)之一。這些加速器是預(yù)先構(gòu)建的解決方案，旨在幫助您快速啟動(dòng)和實(shí)施項(xiàng)目。它們提供代碼示例、腳本和其他資源，可以顯著加快開發(fā)和部署速度。

通過(guò)遵循這些步驟，您可以創(chuàng)建一個(gè)強(qiáng)大的、由人工智能驅(qū)動(dòng)的數(shù)據(jù)治理工具，該工具可以理解和響應(yīng)自然語(yǔ)言查詢，從而使所有用戶（無(wú)論其技術(shù)專長(zhǎng)如何）都可以更輕松地訪問(wèn)和使用數(shù)據(jù)治理。

這種對(duì)話式方法使數(shù)據(jù)治理更加民主化，使其更易于訪問(wèn)和用戶友好。它允許用戶以更直觀和自然的方式與數(shù)據(jù)治理工具交互，從而縮短學(xué)習(xí)曲線，并使非技術(shù)用戶更容易找到所需的信息。通過(guò)將自然語(yǔ)言處理的強(qiáng)大功能引入數(shù)據(jù)治理，我們可以使數(shù)據(jù)治理成為日常業(yè)務(wù)運(yùn)營(yíng)中更不可或缺的一部分。

結(jié)論

治理 3.0 由大型語(yǔ)言模型和創(chuàng)新數(shù)據(jù)目錄解決方案提供支持，可以改變組織管理和治理數(shù)據(jù)的方式。隨著我們的前進(jìn)，我們可以期待數(shù)據(jù)治理繼續(xù)發(fā)展，利用 LLM 和其他先進(jìn)技術(shù)來(lái)滿足組織不斷變化的數(shù)據(jù)治理需求。