強大的數(shù)據(jù)集成平臺的特點

數(shù)據(jù)集成平臺支持多個數(shù)據(jù)管道的開發(fā)、測試、運行和更新。企業(yè)選擇它們的原因是他們認識到數(shù)據(jù)集成是一個具有特定開發(fā)技能、測試要求和運營服務級別期望的平臺和能力。當架構(gòu)師、IT 領導者、CIO 和首席數(shù)據(jù)官談論擴展數(shù)據(jù)集成能力時，才認識到軟件開發(fā)人員并不能通過自定義代碼輕松實現(xiàn)他們尋求的功能。

你或許能在數(shù)據(jù)集成平臺中找到以下功能：

• 專門用于開發(fā)和增強集成的工具。通常低代碼可視化工具支持拖放處理元素、配置元素并將它們連接到數(shù)據(jù)管道中。
• 開箱即用的連接器。它可與常見的企業(yè)系統(tǒng)、SaaS平臺、數(shù)據(jù)庫、數(shù)據(jù)湖、大數(shù)據(jù)平臺、API和云數(shù)據(jù)服務快速集成。例如，假設你想要連接 Salesforce 數(shù)據(jù)，捕獲帳戶和聯(lián)系人，并將數(shù)據(jù)推送到 AWS Relational Database Service，集成平臺可能已經(jīng)預先構(gòu)建了連接器，并準備好在數(shù)據(jù)管道中使用。
• 處理相關數(shù)據(jù)結(jié)構(gòu)和文件類型以外的多種數(shù)據(jù)結(jié)構(gòu)和格式的能力。數(shù)據(jù)集成平臺通常支持 JSON、XML、Parquet、Avro、ORC，或許也能支持特定行業(yè)的格式，例如金融服務中的 NACHA、醫(yī)療保健中的 HIPAA EDI 和保險中的 ACORD XML。
• 高數(shù)據(jù)質(zhì)量和主數(shù)據(jù)管理能力可能是數(shù)據(jù)集成平臺的特性，也可能是開發(fā)人員可以從數(shù)據(jù)管道接口得到的附加產(chǎn)品。
• 一些數(shù)據(jù)集成平臺以數(shù)據(jù)科學和機器學習能力為目標，包括分析元素處理和與機器學習模型的接口。一些平臺還提供數(shù)據(jù)準備工具，以便數(shù)據(jù)科學家和分析師可以構(gòu)建原型并開發(fā)集成。
• Devops 功能，例如支持版本控制、數(shù)據(jù)管道部署自動化、拆除和關閉測試環(huán)境、在暫存環(huán)境中處理數(shù)據(jù)、擴大和縮小生產(chǎn)管道基礎設施以及啟用多線程執(zhí)行。
• 多種托管選項，包括數(shù)據(jù)中心、公共云和SaaS。
• Dataops 能力可以用于維護測試數(shù)據(jù)集、捕獲數(shù)據(jù)沿襲、支持管道重用和自動化測試。
• 在運行時，數(shù)據(jù)集成平臺可利用多種方式觸發(fā)數(shù)據(jù)管道，例如調(diào)度作業(yè)、事件驅(qū)動觸發(fā)器或?qū)崟r流處理模式。
• 可觀察到的生產(chǎn)數(shù)據(jù)管道可以提供性能報告、數(shù)據(jù)源問題警報，并提供診斷數(shù)據(jù)處理問題的工具。
• 多種支持安全性、合規(guī)性和數(shù)據(jù)治理要求的工具，例如加密格式、審計功能、數(shù)據(jù)屏蔽、訪問管理以及與數(shù)據(jù)目錄的集成。
• 數(shù)據(jù)集成管道不是孤立運行的。頂級平臺可與 IT 服務管理、敏捷開發(fā)和其他 IT 平臺集成。

如何選擇數(shù)據(jù)集成平臺

考慮到平臺類型、在每個領域競爭的供應商數(shù)量以及選項分類時使用的分析師術語，對數(shù)據(jù)集成功能和要求的列表可能令人頭疼。在這種情況下，你如何為當前和未來的數(shù)據(jù)集成需求選擇正確的工具組合呢?

簡單來說，需要服從一些規(guī)律。首先清點已經(jīng)使用的集成工具，對用例進行編目，并對數(shù)據(jù)源、格式、轉(zhuǎn)換、目標點和觸發(fā)條件的需求進行逆向工程。然后確定操作要求，包括服務層級的目標、安全要求、合規(guī)性要求和數(shù)據(jù)驗證要求。最后，考慮添加一些與現(xiàn)有數(shù)據(jù)集成不同的重要業(yè)務的新用例或剛嶄露頭角的用例。

通過這樣的盡職調(diào)查，你可能會找到充分的理由來解釋為什么自己動手的集成解決方案是不合格的，以及在審查數(shù)據(jù)集成平臺時需要尋找什么樣的指導。

作者：Isaac Sacolick是StarCIO的總裁，也是亞馬遜暢銷書《推動數(shù)字化：通過技術實現(xiàn)業(yè)務轉(zhuǎn)型的領導者指南》的作者。Sacolick是公認的頂級社交CIO和數(shù)字化轉(zhuǎn)型影響者。他在InfoWorld.com、CIO.com、他的博客Social、Agile和Transformation以及其他網(wǎng)站上發(fā)表了700多篇文章。

原文網(wǎng)址：https://www.infoworld.com/article/3621992/why-you-need-a-data-integration-platform.html