時代已經變了，企業(yè)對傳統(tǒng)的數(shù)據(jù)基礎設施越來越厭煩，這些基礎設施對關鍵的商業(yè)智能問題回答得很慢，而且經常過時，與當前的業(yè)務現(xiàn)實不同步，通常是一天或更長時間。

現(xiàn)代企業(yè)的需求和要求正在以戲劇性的方式轉變。因此，舊的“批處理”模式(每天一次大的更新，查詢速度慢)正在讓位于更細化、更高頻率的實時更新(每秒多次更新，查詢速度快)，從而帶來更新鮮的數(shù)據(jù)和更快的洞察力。

除了分析性的洞察力，實時數(shù)據(jù)基礎設施正在促成一類新的應用，可以在數(shù)據(jù)發(fā)生變化時做出反應。這涉及到數(shù)據(jù)堆棧的每一個部分，從數(shù)據(jù)攝取，到業(yè)務分析，到機器學習和人工智能。

隨著用例的發(fā)展，支持它們的基礎架構也在不斷發(fā)展。走向實時并不是調整舊數(shù)據(jù)系統(tǒng)那么簡單，在許多情況下，基礎設施已經從頭開始重寫，以實現(xiàn)實時工作負載。

在現(xiàn)代數(shù)據(jù)棧中，實時基礎設施和工具可以采取多種形式：

• 以高頻率和高容量將小數(shù)據(jù)包從A處流向B處(例如：Apache Kafka、Redpanda、Apache Pulsar)。
• 通過流處理工具過濾和轉換對流數(shù)據(jù)(例如：Apache Flink、Apache Samza、Decodable)。
• 實時分析，讓分析師在低延遲的情況下獲得對業(yè)務查詢的最新反饋(例如：Materialize、ClickHouse、Tinybird)。
• 實時或在線機器學習模型，不斷適應和學習數(shù)據(jù)，并實時生成預測(例如：Tecton)。

今天，將這些不同的系統(tǒng)組合起來仍然是是一件棘手的事情。但是，進行這些投資的組織將獲得豐厚的回報，主要是實現(xiàn)傳說中的“實時企業(yè)”，成為一個能夠感知和應對其業(yè)務中發(fā)生的事件和變化的組織。

對實時性感興趣但又在尋找靈感？少數(shù)下一代組織已經成為早期采用者，并為新加入者開辟了采用路徑。

我最喜歡的一些大規(guī)模實時數(shù)據(jù)基礎設施的案例研究包括：

• Netflix：在七年的時間里，Netflix將其流數(shù)據(jù)的使用案例從0增加到2000多個，同時在數(shù)據(jù)攝取、移動、分析和運營處理以及機器學習方面建立了實時能力。今天，Netflix的實時基礎設施每天處理數(shù)十萬億次的事件。
• Uber：Uber的實時基礎設施每天產生多個PB級的數(shù)據(jù)和數(shù)萬億條信息，這些數(shù)據(jù)持續(xù)不斷從Uber司機、乘客和其他用戶那里收集而來。Uber的移動應用、內部儀表盤、機器學習模型和臨時數(shù)據(jù)探索工具都有實時用例。

現(xiàn)在是實時的時代，這場革命發(fā)生得比你想象的要快。眨眼間，你可能會錯過它。