根據(jù)調(diào)研機構(gòu)Gartner公司日前發(fā)布的一份調(diào)查報告，由于數(shù)據(jù)質(zhì)量不良的問題，40%的企業(yè)無法實現(xiàn)其業(yè)務(wù)目標。許多數(shù)據(jù)科學家已經(jīng)意識到了利用高質(zhì)量數(shù)據(jù)進行數(shù)據(jù)分析的重要性，因此，他們將大約80%的時間用于數(shù)據(jù)清理和準備。這意味著他們將更多的時間花在數(shù)據(jù)分析之前的過程上，而不是專注于提取有意義的見解。

盡管有必要在進入數(shù)據(jù)分析過程之前獲得更好的數(shù)據(jù)，但必須有一種更好的方法來解決數(shù)據(jù)集中存在的數(shù)據(jù)質(zhì)量問題，而不是人工地糾正每個錯誤。

[[386884]]

使用基于代碼的方法

像Python和R這樣的編程語言使編寫基本數(shù)據(jù)清理工作流變得更加容易，例如：

• 刪除對分析過程無用的列。
• 更改數(shù)據(jù)類型。
• 突出顯示丟失的數(shù)據(jù)。
• 從列值中刪除分隔線和空格。
• 以數(shù)字方式排列數(shù)據(jù)，而不是分類排列數(shù)據(jù)，
• 將字符串更改為日期時間格式等。

使用編程腳本清理數(shù)據(jù)非常有效，但是必須具備大量的編程專業(yè)知識。此外，編程腳本傾向于專門用于特定數(shù)據(jù)集及其列值。這意味著，當數(shù)據(jù)值包含相似的基礎(chǔ)模式時，編程函數(shù)可以更好地工作。否則，將最終將特定方案硬編程到代碼中，以達到數(shù)據(jù)清理的目的，而不是實現(xiàn)可滿足多種方案的更通用的方法。

機器學習及其在數(shù)據(jù)清理中的作用

要清理數(shù)據(jù)，首先，必須能夠分析和識別不良數(shù)據(jù)。然后執(zhí)行糾正措施以獲取干凈且格式標準化的數(shù)據(jù)集。數(shù)據(jù)清理過程中有多個階段，采用機器學習和人工智能技術(shù)不僅可以使工作流實現(xiàn)自動化，而且可以獲得更準確的結(jié)果。

(1)分析數(shù)據(jù)并檢測錯誤

機器學習在數(shù)據(jù)清理中起到重要作用的第一步是對數(shù)據(jù)進行概要分析，并突出顯示異常值。生成直方圖并針對經(jīng)過訓練的機器學習模型運行列值將突出顯示哪些值是異常值，并且與該列的其他值不匹配。可以在標準字典上訓練模型，也可以提供專門用于數(shù)據(jù)的自定義數(shù)據(jù)集。

(2)對數(shù)據(jù)的清理和標準化提出智能化建議

除了檢測列值中的錯誤之外，機器學習解決方案還可以提出明智的建議，并突出顯示解決數(shù)據(jù)質(zhì)量問題的可能措施。這些建議基于同一數(shù)據(jù)集中遇到的數(shù)據(jù)的性質(zhì)。例如，如果兩個記錄的地址完全相同，但郵政編碼不同，則機器學習算法可以將其標記為需要修復的可能錯誤。這是通過在數(shù)據(jù)集上設(shè)置相關(guān)性約束來實現(xiàn)的，如果地址相同，則郵政編碼也必須相同。

(3)通過集群突出顯示可能的重復項

記錄重復數(shù)據(jù)刪除是數(shù)據(jù)清理工作流程中最重要的步驟之一。機器學習解決方案可以通過基于記錄的相似性對記錄進行集群來幫助用戶執(zhí)行記錄鏈接。這是通過在非重復數(shù)據(jù)集上訓練機器學習模型來實現(xiàn)的，該數(shù)據(jù)集包含匹配項和不匹配項的標簽。一旦訓練完成，機器學習模型便會智能地標記新數(shù)據(jù)集并創(chuàng)建集群，以突出顯示可能引用同一實體的數(shù)據(jù)記錄。

(4)影響合并/清除決策以實現(xiàn)單一真相來源

在創(chuàng)建集群的過程中，機器學習算法對記錄屬于該集群的可能性進行評分。這有助于數(shù)據(jù)科學家做出相應(yīng)的合并或清除數(shù)據(jù)記錄的決定。還可以調(diào)整機器學習算法中使用的變量，以在產(chǎn)生的假陽性和陰性數(shù)量之間設(shè)置可接受的閾值。

基于機器學習的數(shù)據(jù)清理

上面的工作流程顯示了基于機器學習的數(shù)據(jù)清理軟件如何自動執(zhí)行清理活動，而且還通過建議智能建議簡化了決策過程。這種利用人工智能強大功能的高級流程對于數(shù)據(jù)科學家在數(shù)據(jù)清理和準備方面節(jié)省大量的時間至關(guān)重要。