在2023年Gartner發布的十大戰略技術趨勢中，應用可觀測性以及AI信任、風險和安全管理都位列其中。“相信數據可以使今天的不可能，在明天成為可能”的Cloudera肯睿，似乎在這兩個風口都有著得天獨厚的優勢。

近日，Cloudera大中華區技術總監劉隸放向51CTO等媒體分享了Cloudera全新的現成大型語言模型（LLM）藍圖以及監控和優化CDP部署的新服務Cloudera Observability。

CML：信任 AI始于信任數據

“這對Cloudera是一個非常好的機會。”

談及AI時代，劉隸放表示， Cloudera平臺上管理的數據已經超過2500萬TB，這與超大規模服務商的數據量不相上下。此前，Cloudera大中華區副總裁王剛表示：“生成式 AI和大型語言模型的效果取決于它們所接受的訓練數據，并且它們需要正確的語境。這些模型和AI要取得成功，就需要得到信任，而信任 AI始于信任數據。”

今年以來，不少合作伙伴和客戶都來向Cloudera尋求幫助，希望在系統中嵌入對話機器人以及機器學習和深度學習等技術。

ChatGPT雖然很火，大家也都在做，但是為什么企業要跟合作伙伴談，而不是直接用公有云上的模型？劉隸放解釋道，企業需要在合適的情境中基于自身專有數據構建交互體驗，并且不與外部服務共享他們的數據。在Cloudera平臺上，對所有客戶而言最重要最珍貴的數據始終都在客戶手中，這也是Cloudera能深度參與客戶AI建設的重要原因之一。

對于企業而言，數據的關聯度和準確性也很重要，對話機器人的錯誤將會為工作和生產帶來很大的影響。“ChatGPT有一個策略，當它知識庫中沒有訓練答案時，就會捏造一個答案，這種現象被稱為AI幻覺。”劉隸放表示，今天的AI還沒有像我們在電影中看到的那么神奇，要讓AI給出更準確的答案，需要確保數據的質量。

近兩年來，Cloudera一直強調在數據編織基礎上幫助客戶實現數據治理和管控的能力。但未來Cloudera將會轉型成為AI的平臺。

劉隸放介紹道，Cloudera的AI平臺CML（CDP Machine Learning）主要有三個重要部分：一是CDP基礎數據，即客戶訓練數據的基礎數據，這將為客戶未來的分析系統提供數據支撐；二是數據加工、提取與轉換，Cloudera加工數據的流程原本用在大數據流程中，AI也同樣需要對數據進行加工處理；三是嵌入大語言模型，并在模型的基礎上，構建和部署AI應用。

“在真實大數據的模型上，按照合規的方式產生可信結果，我想這是Cloudera AI平臺所提供的能力。”

Observability：優化混合云成本

在越來越多企業選擇混合云和多云的今天，全面了解和管理不同部門和成本中心的基礎設施和服務支出變得愈發困難。

劉隸放介紹說，管理混合云部署的挑戰主要在三個方面：一是平臺可控性和穩定性，由容器、調度器、服務等組成的復雜系統給運維人員的知識面提出了很高的要求；二是資源管理和控制，對資源消耗情況和效率的可見性有限，導致浪費和超支；三是支持力度和體驗，提供支持的人員需要頻繁來回奔波，排除故障的過程也很麻煩。

Cloudera Observability讓這些難題迎刃而解。今年6月，Cloudera Observability宣布面向所有在公有云或私有云環境中使用Cloudera Data Platform（CDP）的客戶開放，依托Cloudera在混合數據解決方案領域的經驗，使客戶能夠監控、了解和優化其CDP部署。客戶還可以通過可自定義的自動操作和預先構建的操作，發出警報、主動避免問題并優化工作負載。

相比Cloudera此前的另一專注于工作負載調優的產Workload Management，Cloudera Observability在混合云環境中能力更加全面。劉隸放介紹說，Observability實現了財務治理、主動系統監控、服務健康監控、工作負載優化、自助式分析等功能，以及更快的問題解決速度。

Cloudera Observability能夠提高CDP全部功能的成本效益，從而增強企業用戶體驗。對于正在提高自身數據管理水平，以便為各種混合云和多云環境中的大型語言模型和其他AI項目提供基礎數據的企業來說，這一點正變得日益重要。

此外，提及Cloudera Observability的優勢，劉隸放還展示了Cloudera針對已有適用客戶的平臺進行的數據分析。在部署Observability后，集群利用率提升30%以上，提高了基礎設施的投資回報率；SLA和SLO遵守率提高43%，直接增加了收入；RCA和故障排除速度加快50倍，減少了運營開支。

目前，Cloudera Observability只推出了公有云上的SaaS版本，還需要聯網支撐部署。但劉隸放透露，考慮到部分行業監管嚴格且對數據敏感，Cloudera很快還會推出一個本地部署版。