在最近與Tredence數據工程和治理經理Elliot Huebler的一次交談中，我們深入探討了錯綜復雜的數據治理世界，以及數據編目如何在集中和簡化這些工作方面發揮關鍵作用。

Huebler在密歇根大學的銀河演化天體物理學專業背景下帶來了豐富的經驗，他揭示了企業所面臨的挑戰，以及Tredence為克服這些挑戰而采用的創新解決方案。他說：“我喜歡治理和編目，因為它是人類和數據的交叉點。”

Huebler為Tredence的歷程提供了見解，強調了他們從一家AI、ML解決方案公司到專注于數據工程的演變。Huebler非常強調數據治理，描述了構成有效治理的各種支柱，從數據編目到數據質量、譜系、主數據管理、安全、隱私政策和組織結構。

數據目錄在治理中的作用

正如Huebler解釋的那樣，數據編目成為Tredence首批治理項目之一。Tredence認識到跨不同支柱實施各種利基解決方案的復雜性，確定了集中化方法的必要性。

數據目錄不僅是為數據民主化設計的工具，也是為集中治理舉措而設計的工具，成為他們戰略中的關鍵參與者。“數據編目、數據質量、數據譜系、主數據管理、安全、隱私政策都是數據治理的支柱，”他說，“我們需要一個利基和集中化的解決方案來解決所有這些問題。”

Huebler承認治理需求的多樣性，概述了Tredence用于不同治理支柱的多種工具。他解釋說：“從Alation、ColLibra和Microsoft Perview等數據目錄工具，到Databricks的統一目錄等企業數據目錄，前景是廣闊的。”用于數據質量、安全性和主數據管理的定制解決方案和供應商工具在他們的方法中也發揮著關鍵作用。

Huebler詳細介紹了Tredence構建定制數據目錄的方法。他說：“通過從小規模開始并專注于特定的用例或領域，我們創建了一個強大的數據用戶之旅，整合了數據質量檢查、譜系和其他相關元數據。”這一迭代過程使他們能夠展示定制目錄的整體價值，為進一步擴大規模鋪平道路。

通過數據目錄提高可訪問性和透明度

在將數據目錄與圖書館的杜威十進制系統進行比較時，Huebler強調了目錄在使數據易于導航方面的基礎作用。“數據目錄的好處之一就是它，它幾乎從來沒有真正查看過數據，它只是在查看元數據。”Huebler說。以元數據為中心的方法確保了可擴展性和適應性，使目錄能夠自動獲取更改和添加內容，而不會影響數據質量或安全性。

在安全方面，Huebler澄清說，雖然數據目錄側重于元數據，但分析實際數據的工具或解決方案對于評估和改進數據質量和安全性是必要的，然而，目錄可以捕捉和顯示這些評估的結果，有助于全面的治理概述。

對于可伸縮性，Huebler說“如果要添加新的表，就必須刪除舊的表。它會自動拾取這些資產，掃描它們，然后一旦掃描，你就會在目錄中獲得該資產的頁面。目錄中的那一頁有一系列不同的字段，你可以填寫有關元數據的信息，而這些字段可能就是對表格的描述。”

Huebler還表示，Tredence正在試驗大量的生成性人工智能能力，如LLMS，以使數據目錄更容易，更具互動性，這將在客戶中推動更多的采用。

數據目錄采用面臨的挑戰和解決方案

Huebler解釋說：“我們看到的最常見的事情之一就是用戶對目錄不感興趣。”Tredence的客戶面臨的一個共同挑戰是采用數據目錄。Huebler認為，缺乏用戶參與度是一個重大障礙，他將其歸因于帶寬限制、缺乏高管贊助以及人們認為缺乏價值等因素。

為了解決這一問題，Tredence采用了創造性的策略，包括管理競賽和游戲化的方法，使數據體驗變得愉快和有價值。“我們制作了一大堆材料和演示，只是為了真正將我們的倡議在整個企業中社會化。希望我們能看到這會帶來更高水平的管理參與度。”

有了數據目錄，你就可以在它的基礎上建立一層可視化。“你可以獲得目錄和Power BI儀表板的用戶群參與，以及目錄管理過程的進度。因此，對于基于用戶的參與度，我們希望追究管理人員的責任。”

Tredence剛剛花了三個月的時間將20名用戶添加到目錄中。“這很可能是因為我們的網絡研討會，還有另一個監測因素，那就是目錄管理的進展，”他補充道。除了用戶基礎，Tredence還希望衡量我們治理目標的成功程度，為此，公司正在研究新的方法。

Huebler強調了高管買入對推動采用率的重要性，并強調了監控工具的必要性。成功的衡量標準包括用戶參與度、內容增長和實現治理目標的進展。展望未來，Huebler設想數據目錄將演變為具有更多治理功能，并預計人工智能領域將出現令人興奮的發展，特別是在語言模型領域，使數據交互更加直觀和用戶友好。