肯睿Cloudera發布AI推理服務，攜手NVIDIA加速企業生成式AI開發與部署
可信的數據、分析和AI混合平臺廠商肯睿Cloudera今天發布了由NVIDIA NIM微服務驅動的肯睿Cloudera AI推理服務，該服務同時成為NVIDIA AI Enterprise平臺的一部分。作為業界首批提供嵌入式 NIM微服務功能的AI推理服務之一，肯睿Cloudera AI推理服務以獨特方式簡化了大規模AI模型的部署與管理，使企業能夠發揮出其數據的真正潛力，將生成式AI從試點階段推進到全面生產階段。
根據德勤最新數據顯示，企業采用生成式AI的最大障礙是合規風險和治理問題。盡管如此，生成式AI仍在快速普及，今年第三季度有超過三分之二的企業增加了生成式AI預算。為了緩解上述問題，無論在本地，還是在公有云中，企業都必須轉向私有AI模型和應用。為此，企業需要安全、可擴展的解決方案來避免復雜的自行解決方法。
肯睿Cloudera AI推理服務通過在企業控制范圍內提供安全開發與部署，防止敏感數據泄露到云服務商托管的非私有AI模型服務中。這項NVIDIA技術驅動的服務幫助企業快速構建實現可信AI所需的可信數據，支持企業高效開發AI驅動的聊天機器人、虛擬助手和代理應用，從而提升生產力并實現業務增長。
肯睿Cloudera在與NVIDIA合作后不久就推出了肯睿Cloudera AI推理服務，進一步強調了肯睿Cloudera的承諾，即在各行各業應對數字化轉型與AI集成復雜性的關鍵時刻，不斷推動企業AI創新。
開發者可以使用NVIDIA Tensor Core GPU構建、定制和部署企業級大語言模型（LLM） ，其性能最高可提升36倍，吞吐量是使用CPU時的近4倍。用戶界面（UI）和API可與NVIDIA NIM微服務容器直接集成，不再需要使用命令行界面（CLI）和單獨的監控系統，為用戶帶來了無縫銜接體驗。該服務與肯睿Cloudera AI模型注冊表集成后，還可通過管理模型端點和操作的訪問控制改善安全性和治理。用戶能夠在一個統一平臺上通過一項服務無縫管理所有模型，無論是LLM部署，還是傳統模型都不例外。
肯睿Cloudera AI推理服務的其他主要功能包括：
- 高級AI功能：利用NVIDIA NIM微服務優化開源LLM（包括LLama和Mistral），推動自然語言處理（NLP）、計算機視覺和其他AI領域的前沿技術發展。
- 混合云與隱私：在本地或云中運行工作負載，通過VPC部署增強安全性與合規性。
- 可擴展性與監控：依靠自動擴展、高可用性（HA）和實時性能追蹤檢測和糾正問題，實現高效資源管理。
- 開放式 API與CI/CD集成：使用符合標準的API進行模型部署、管理和監控，以便與 CI/CD流水線和MLOps工作流程無縫集成。
- 企業安全功能：通過服務帳戶、訪問控制、數據沿襲和審計功能執行模型訪問。
- 風險管理部署：通過A/B測試和“金絲雀推廣”（canary rollout）以控制模型更新。
行業分析師Sanjeev Mohan表示：“企業正對投資生成式AI熱情高漲，但這不僅需要可擴展的數據，還需要安全、合規且管理良好的數據。將私有AI大規模投入生產帶來了DIY方法難以解決的復雜性。肯睿Cloudera AI推理服務通過將先進的數據管理與NVIDIA的AI專業技術相結合彌補了這一差距，在保護數據的同時發揮數據潛能。憑借服務帳戶、訪問控制、審計等企業級安全功能，企業可以放心地保護自己的數據，并在本地或云中運行工作負載。以其所需的靈活性和治理方式高效部署AI模型。”
肯睿Cloudera首席產品官Dipto Chakravarty表示：“我們十分高興能與NVIDIA攜手推出肯睿Cloudera AI推理服務，為客戶提供一個支持幾乎所有模型和用例的一站式AI/ML平臺。如此一來，企業既可以使用我們的軟件創建強大的AI應用，也可以在肯睿Cloudera平臺中運行性能卓越的AI應用。通過集成NVIDIA AI，肯睿Cloudera能夠以先進的性能促進決策的智能化，使用可信數據大規模構建可信的AI應用，從而支持客戶不斷創新。”
NVIDIA AI軟件、模型和服務副總裁Kari Briski表示： “當今企業需要將生成式AI與其現有的數據基礎設施無縫集成，從而提升業務成果。通過將NVIDIA NIM微服務整合到肯睿Cloudera AI 推理服務平臺中，我們支持開發者能夠輕松創建可信的生成式AI應用，同時形成一個自我維持的AI數據飛輪。”
肯睿Cloudera大中華區技術總監劉隸放表示：“在中國，隨著生成式AI的迅速普及，企業對安全、合規且具備本地化部署能力的AI解決方案需求愈發強烈。Cloudera AI推理服務結合了NVIDIA的領先技術，幫助中國企業在嚴格的數據隱私要求下實現AI應用的快速落地與擴展。這一解決方案不僅支持企業自主掌控數據，還能有效提升AI模型的性能，為中國企業的數字化轉型提供強有力的支持。”
