?譯者 | 布加迪

審校 | 孫淑娟

現代數據堆棧（MDS）是數字顛覆者的基礎。不妨以網飛（Netflix）為例。該公司開創了一種基于視頻即服務的新商業模式，但其成功主要立足于實時流數據。

網飛在使用分析工具向觀眾推送高度相關的推薦內容。它監控實時數據，對網絡性能保持持續可見性。它在同步影片和節目數據庫，Elasticsearch讓用戶能夠快速輕松地找到所尋找的內容。

這必須是實時的，必須百分之百準確。老式的提取、轉換和加載（ETL）太慢了。為了滿足這個需求，網飛構建了一個名為DBLog的變更數據捕獲（CDC）工具，該工具可捕獲MySQL、PostgreSQL及其他數據源方面的變更，然后將這些變更內容流式傳輸到目標數據存儲系統，供搜索和分析所用。

網飛需要高可用性和實時同步，還需要盡量減少對運營數據庫造成的影響。CDC以數據庫日志作為輸入源，按照發生的順序將變更內容復制到目標數據庫，因此它可以捕獲及時出現的變更內容，而不會鎖定記錄或以其他方式阻礙數據源數據庫。

數據可謂是網飛業務的核心，但在這方面它并非孤例。優步、亞馬遜、愛彼迎和Meta等公司之所以蓬勃發展，是由于它們真正了解如何讓數據為己所用。數據管理和數據分析是這些組織的戰略支柱，而CDC技術對于它們能夠執行核心任務起到了關鍵作用。

幾乎所有在當今商業環境中處于領先地位的公司都是如此。如果您希望貴公司成為頭部玩家，就需要更新改造并駕馭數據。競爭對手肯定已經在這么做了。

1.亞秒級集成是愛彼迎和優步的新標準

當下，卓越的客戶體驗（CX）需要實時數據流。愛彼迎認識到了CDC技術在為其客戶和房東打造出色CX方面的價值。它也建立了自己的CDC平臺，名為SpinalTap。愛彼迎的動態定價、房源可用性和預訂狀態要求所有系統之間具有完美的準確性和一致性。當愛彼迎客戶預訂房源時，他們希望工作流程非常快速，且百分之百準確。

對于優步來說，即時性可以說尤為重要。無論客戶在等待乘車前往機場還是訂購外賣，時間至關重要。就像網飛和愛彼迎一樣，優步開發了自己的CDC平臺來實時同步多個數據存儲系統中的數據。同樣出現了一系列共同的要求。優步需要其解決方案極其快速和容錯，數據丟失為零。它還需要一種不會降低數據源數據庫性能的解決方案。

2.面向普通公司的變更數據捕獲

CDC再次符合要求。在過去，隔夜批處理模式ETL可能足以提供每日執行更新或運營報告。如今，實時越來越成為常態。如果說信息就是力量，那么即時獲取信息就是超強力量。

這就是為什么CDC迅速成為了現代數據堆棧的基本要求。不過，網飛、愛彼迎和優步等大公司擁有構建定制CDC平臺的資源，那其他普通公司呢？

現成的CDC解決方案在填補這一空白，提供相同的低延遲、高質量流管道，無需從頭開始構建。

遺憾的是，它們并非天生一樣。大多數公司運營一系列系統來處理企業資源規劃（ERP）、客戶關系管理（CRM）或專門的運營職能（比如采購或人力資源）。

這些系統在不同的數據庫平臺上運行，使用不一致的數據模型。如果一家公司運營大型機系統，它很可能處理難以與現代關系數據配合使用的怪僻數據結構。

這使得異構集成變得尤為重要。這需要連接到多個數據源和目標，包括SAP、Oracle、IBM DB2和Salesforce等事務數據庫。這意味著向Databricks、Kafka、Snowflake、Amazon DocumentDB和Azure Synapse Analytics等平臺提供實時流數據。

3.實時CDC自動化

為了推動人工智能（AI）和高級分析，企業需要將數據推送到一個通用的MDS平臺。這意味著從各種數據源獲取信息，將其轉換成適用于分析的統一模型，并將其交付到基于云的現代數據平臺。

變更數據捕獲技術是數據驅動價值鏈中的關鍵環節——先通過自動從數據源系統提取數據，然后將其動態轉換并交付到云數據平臺。實時CDC自動化確保合適的信息立即到達合適的位置。

由于只關注已變更的數據，流式CDC管道與過去的批處理模式操作相比有巨大的效率優勢。最好的CDC解決方案不到30分鐘就可以將100多TB的數據從數據源傳送到目標，并實現零數據丟失。

向云計算的轉變仍在進行。尤其是云分析工具為真正了解數據有望轉變業務的公司提供了明顯的優勢。各行各業的領先公司在圍繞數據分析工具調整其戰略愿景。它們正在將與客戶的互動實現數字化，使用算法來研究數據、提取見解并采取行動。AI和機器學習在攝取大量信息、發現關聯并識別異常。

無論您在數字化顛覆方面處于領先，還是只是緊跟潮流，CDC技術都將在使現代數據堆棧成為現實、向數字化轉型敞開大門方面發揮關鍵作用。

原文鏈接：

https://venturebeat.com/data-infrastructure/change-data-capture-the-critical-link-for-airbnb-netflix-and-uber/