物聯(lián)網(wǎng)數(shù)據(jù)的精煉應(yīng)用是跨越數(shù)字化轉(zhuǎn)型鴻溝的基礎(chǔ)

隨著公司根據(jù)從物聯(lián)網(wǎng)設(shè)備獲得的數(shù)據(jù)實(shí)施更多的用例，甚至完成業(yè)務(wù)模式轉(zhuǎn)型，需要一種對這些數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量管理的結(jié)構(gòu)化方法變得至關(guān)重要。太多的公司試圖在質(zhì)量低劣的數(shù)據(jù)基礎(chǔ)上擴(kuò)大數(shù)字化轉(zhuǎn)型，這會(huì)導(dǎo)致很多挫敗感，并且?guī)缀鯖]有實(shí)際的商業(yè)利益。

我有時(shí)會(huì)用著名的“跨越鴻溝”圖進(jìn)行類比。事實(shí)上，初創(chuàng)公司從早期創(chuàng)新者轉(zhuǎn)向被大多數(shù)市場采用所面臨的挑戰(zhàn)有相似之處。當(dāng)應(yīng)用于數(shù)字化轉(zhuǎn)型時(shí)，挑戰(zhàn)在于跨越從成功的數(shù)字化試點(diǎn)項(xiàng)目到全面實(shí)施的鴻溝。

許多公司無法在試點(diǎn)階段之后擴(kuò)大數(shù)字化轉(zhuǎn)型計(jì)劃。

行業(yè)公司最近的研究證實(shí)，數(shù)據(jù)質(zhì)量是擴(kuò)展工業(yè)分析的主要障礙之一。換句話說，眾所周知的“垃圾進(jìn)——垃圾出”的口號仍然很盛行。

了解數(shù)據(jù)質(zhì)量

現(xiàn)在，盡管數(shù)據(jù)質(zhì)量對我們大多數(shù)人來說具有直觀的意義，但實(shí)際上它是一個(gè)具有多種可能定義的彈性概念。這些范圍可以更窄，例如：

當(dāng)數(shù)據(jù)正確地代表了它想要描述的潛在現(xiàn)實(shí)世界現(xiàn)象時(shí)，數(shù)據(jù)就具有良好的質(zhì)量。

根據(jù)這個(gè)定義，數(shù)據(jù)需要有效、準(zhǔn)確、一致和完整等。數(shù)據(jù)質(zhì)量的另一個(gè)常見且同樣有用的定義如下：

當(dāng)數(shù)據(jù)適合目的時(shí)，數(shù)據(jù)的質(zhì)量就很好。

在第二個(gè)定義中，數(shù)據(jù)結(jié)構(gòu)化、可解釋性和情境化的方面也被納入考慮范圍，只要這些方面與預(yù)期用例相關(guān)。

物聯(lián)網(wǎng)數(shù)據(jù)精煉廠

就像煉油廠中原油的情況一樣，質(zhì)量可能較差的原始數(shù)據(jù)可以得到提煉。可以將其視為通過一系列“質(zhì)量門”的數(shù)據(jù)，如下所示：

• 門 1：可訪問

數(shù)據(jù)在可供使用時(shí)到達(dá)此門。此步驟需要成功連接到數(shù)據(jù)源并能夠查詢/讀取樣本。

• 門 2：結(jié)構(gòu)化和情境化

通過此門的數(shù)據(jù)是結(jié)構(gòu)化和情境化的。對于物聯(lián)網(wǎng)數(shù)據(jù)，此步驟通常意味著已添加設(shè)備和資產(chǎn)元數(shù)據(jù)以及其他關(guān)鍵上下文。

• 門 3：已驗(yàn)證

下一步是數(shù)據(jù)的質(zhì)量驗(yàn)證。此時(shí)，數(shù)據(jù)質(zhì)量是根據(jù)許多關(guān)鍵維度進(jìn)行評估的，包括準(zhǔn)確性、一致性和及時(shí)性。

• 門 4：清理

評估數(shù)據(jù)質(zhì)量通常是不夠的。許多數(shù)據(jù)產(chǎn)品需要數(shù)據(jù)清理作為管道的一部分來創(chuàng)建可供使用的數(shù)據(jù)。

• 門 5：帶注釋

除了清理和結(jié)構(gòu)化之外，可能還需要由主題專家 (SME) 或數(shù)據(jù)管理員提供的附加標(biāo)簽，以使數(shù)據(jù)適合使用。例如，可以標(biāo)記資產(chǎn)關(guān)閉的時(shí)間段或在檢查問題后添加根本原因信息。

• 門 6：驗(yàn)證

對于關(guān)鍵數(shù)據(jù)（例如關(guān)鍵報(bào)告或計(jì)費(fèi)中使用的數(shù)據(jù)），讓數(shù)據(jù)管理員明確驗(yàn)證數(shù)據(jù)并承諾適合使用的事實(shí)通常是一種很好的做法。

• 門 7：共享

此時(shí)，數(shù)據(jù)已準(zhǔn)備好共享。共享可以發(fā)生在內(nèi)部或外部、與供應(yīng)商或客戶。

• 門 8：可視化

數(shù)據(jù)可視化和探索是下一步。分析師可以在 PowerBI 或類似的描述性分析環(huán)境中研究數(shù)據(jù)。

• 門 9：建模

一些數(shù)據(jù)用于建模。此任務(wù)通常由數(shù)據(jù)科學(xué)家執(zhí)行。

• 門 10：預(yù)測

最后，模型可用于對新傳入數(shù)據(jù)進(jìn)行預(yù)測。

隨著數(shù)據(jù)通過大門，它變得更加精致、更加值得信賴、更加有價(jià)值。我們確實(shí)可以將這個(gè)逐步過程視為“數(shù)據(jù)精煉廠”，并與煉油廠或蒸餾過程進(jìn)行類比。

在真實(shí)的煉油廠中，生產(chǎn)各種產(chǎn)品。例如，靠近蒸餾塔底部的地方生產(chǎn)柴油和煤油等成分，用于重型卡車和噴氣式飛機(jī)。汽車中使用的汽油混合成分等較輕的成分被提取到蒸餾塔的頂部。

同樣，我們的數(shù)據(jù)精煉廠可能會(huì)產(chǎn)生各種數(shù)據(jù)產(chǎn)品。并非所有這些產(chǎn)品都同樣精致。重要的是，我們知道每個(gè)產(chǎn)品在數(shù)據(jù)特征和質(zhì)量方面的期望。沒錯(cuò)，我們不想不小心把煤油放進(jìn)我們的跑車?yán)铮?/p>

數(shù)據(jù)產(chǎn)品占據(jù)中心舞臺

當(dāng)公司意識到有必要明確定義數(shù)據(jù)產(chǎn)品作為數(shù)據(jù)基礎(chǔ)設(shè)施和最終用戶應(yīng)用程序之間的一層時(shí)，就會(huì)出現(xiàn)宣泄的時(shí)刻。

數(shù)據(jù)產(chǎn)品由K2view定義為 ???????????????? ???????? ???????????? ???????? ?????????? ???????????????????????????????????????????????????????????? ???????????????????????????????????????????????????????????? ??????????????????????????????????????????。這些被稱為“產(chǎn)品”（而不是普通資產(chǎn)），因?yàn)樗鼈兪菫榱藵M足消費(fèi)者的需求而設(shè)計(jì)的。

定義數(shù)據(jù)產(chǎn)品的好處在于：

1. 角色和職責(zé)更加明確，并且
2. 視圖中的數(shù)據(jù)生產(chǎn)者和消費(fèi)者之間存在明確的一致性。

成功實(shí)施后，數(shù)據(jù)產(chǎn)品可以有助于消除數(shù)據(jù)生產(chǎn)者和消費(fèi)者之間的摩擦，幫助數(shù)據(jù)團(tuán)隊(duì)變得積極主動(dòng)，并實(shí)現(xiàn)數(shù)字計(jì)劃的全面推廣。

在沒有對數(shù)據(jù)產(chǎn)品進(jìn)行適當(dāng)管理的情況下擴(kuò)展物聯(lián)網(wǎng)數(shù)據(jù)用例時(shí)的預(yù)防措施。

使用托管數(shù)據(jù)產(chǎn)品轉(zhuǎn)向主動(dòng)方法。

主要角色

現(xiàn)在我已經(jīng)完成了場景并將數(shù)據(jù)產(chǎn)品放在舞臺上，讓我們介紹一下構(gòu)建物聯(lián)網(wǎng)數(shù)據(jù)精煉廠的主要參與者。我并不是想描述最廣泛的數(shù)據(jù)相關(guān)角色集。相反，我想重點(diǎn)關(guān)注在實(shí)踐中實(shí)現(xiàn)物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量管理的可行設(shè)置的關(guān)鍵角色。根據(jù)我的經(jīng)驗(yàn)，這些包括以下內(nèi)容：

角色#1：數(shù)據(jù)平臺工程師

數(shù)據(jù)平臺工程師對業(yè)務(wù)起著促進(jìn)作用。作為數(shù)據(jù)平臺團(tuán)隊(duì)的成員，他是 IT 組織的成員，負(fù)責(zé)構(gòu)建、運(yùn)營和維護(hù)構(gòu)成數(shù)據(jù)平臺的支持 IT 服務(wù)。

角色#2：數(shù)據(jù)工程師

數(shù)據(jù)工程師嵌入數(shù)據(jù)平臺團(tuán)隊(duì)中，幫助構(gòu)建和維護(hù)自動(dòng)處理數(shù)據(jù)的管道。例如，他（她）可以使用編排器將連接到給定端點(diǎn)中的物聯(lián)網(wǎng)數(shù)據(jù)的構(gòu)建塊組合在一起，將其與元數(shù)據(jù)源集成，通過添加資產(chǎn)上下文來構(gòu)建數(shù)據(jù)，應(yīng)用邏輯來挖掘特征和評分?jǐn)?shù)據(jù)質(zhì)量，并使生成的豐富數(shù)據(jù)可供數(shù)據(jù)管理員使用。

角色#3：數(shù)據(jù)管理員

數(shù)據(jù)管理員充當(dāng)數(shù)據(jù)產(chǎn)品的數(shù)據(jù)質(zhì)量的看門人。管理員是領(lǐng)域/業(yè)務(wù)專家，而不是決定數(shù)據(jù)質(zhì)量何時(shí)足夠好的開發(fā)人員或基礎(chǔ)設(shè)施專家。這意味著他定義數(shù)據(jù)質(zhì)量評分并負(fù)責(zé)數(shù)據(jù)驗(yàn)證。即使數(shù)據(jù)清理可以（很大程度上）自動(dòng)化，數(shù)據(jù)管理員明確承諾數(shù)據(jù)適合使用通常也很重要。

角色#4：數(shù)據(jù)分析師

數(shù)據(jù)分析師的角色可能存在于產(chǎn)品團(tuán)隊(duì)內(nèi)部，但更多時(shí)候分析師充當(dāng)數(shù)據(jù)產(chǎn)品的消費(fèi)者/用戶。在此角色中，他們使用商業(yè)智能應(yīng)用程序等工具從數(shù)據(jù)產(chǎn)品中查詢數(shù)據(jù)。分析師還經(jīng)常接受培訓(xùn)以使用 SQL 直接查詢所服務(wù)的數(shù)據(jù)。

角色#5：機(jī)器學(xué)習(xí)運(yùn)維工程師

機(jī)器學(xué)習(xí)操作工程師與數(shù)據(jù)平臺工程師相對應(yīng)，但對機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施（而不是數(shù)據(jù)平臺）負(fù)有特定責(zé)任。請注意，當(dāng)使用 Databricks 等平臺時(shí)，此職責(zé)可能與數(shù)據(jù)平臺工程職責(zé)或系統(tǒng)范圍重疊。

角色#6：數(shù)據(jù)科學(xué)家

數(shù)據(jù)科學(xué)角色可能作為數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)的一部分存在，例如涉及預(yù)測的數(shù)據(jù)產(chǎn)品或挖掘從數(shù)據(jù)產(chǎn)品本身收集的使用數(shù)據(jù)。數(shù)據(jù)科學(xué)家也可能在數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)之外工作，作為數(shù)據(jù)產(chǎn)品的消費(fèi)者，使用其數(shù)據(jù)構(gòu)建機(jī)器學(xué)習(xí)模型。物聯(lián)網(wǎng)中的一個(gè)例子可能是一個(gè)團(tuán)隊(duì)使用來自公開核心旋轉(zhuǎn)資產(chǎn)數(shù)據(jù)的數(shù)據(jù)產(chǎn)品的數(shù)據(jù)來構(gòu)建預(yù)測維護(hù)模型。

角色#7：機(jī)器學(xué)習(xí)工程師

在較大的團(tuán)隊(duì)中，可能存在特定角色來管理數(shù)據(jù)科學(xué)家創(chuàng)建的機(jī)器學(xué)習(xí)模型。在這種情況下，機(jī)器學(xué)習(xí)工程師負(fù)責(zé)在整個(gè)模型生命周期中管理模型，負(fù)責(zé)模型部署和模型維護(hù)的各個(gè)方面。

整合數(shù)據(jù)精煉廠

我們可以將所有這些放在一起形成一個(gè)整體圖，如下所示：

價(jià)值鏈

底部 描繪了逐步的數(shù)據(jù)精煉步驟。隨著數(shù)據(jù)從左向右移動(dòng)，它會(huì)通過幾個(gè)質(zhì)量關(guān)卡，變得更加精致、更值得信賴、更有價(jià)值。我想再次強(qiáng)調(diào)，并非所有步驟都與每個(gè)數(shù)據(jù)產(chǎn)品中的每個(gè)數(shù)據(jù)點(diǎn)相關(guān)。

平臺團(tuán)隊(duì)

在上面一層，描述了平臺團(tuán)隊(duì)。他們運(yùn)營數(shù)據(jù)和機(jī)器學(xué)習(xí)操作管道可以運(yùn)行的平臺和 IT 服務(wù)。

數(shù)據(jù)管道

在中間部分，數(shù)據(jù)工程師設(shè)置自動(dòng)化數(shù)據(jù)結(jié)構(gòu)化和上下文化的核心管道。然后，數(shù)據(jù)管理員獲取自動(dòng)化部分的輸出，并根據(jù)需要進(jìn)一步清理、注釋和驗(yàn)證數(shù)據(jù)。最終的結(jié)果是分析師和數(shù)據(jù)科學(xué)消費(fèi)者/用戶能夠以高質(zhì)量的數(shù)據(jù)為基礎(chǔ)，感到高興。

賦能團(tuán)隊(duì)

最后，圖中的頂層添加了治理和支持團(tuán)隊(duì)。這些團(tuán)隊(duì)也是數(shù)據(jù)產(chǎn)品矩陣結(jié)構(gòu)的重要組成部分。

數(shù)據(jù)產(chǎn)品在哪里呢

我可以想象，此時(shí)您想知道數(shù)據(jù)產(chǎn)品隱藏在這一切中的哪里。為了澄清這一點(diǎn)，讓我們從一個(gè)簡單的數(shù)據(jù)產(chǎn)品的角度來看同一張圖：

在這個(gè)解釋中：

• 數(shù)據(jù)工程師和數(shù)據(jù)管理員是數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)的團(tuán)隊(duì)成員。
• 分析師和數(shù)據(jù)科學(xué)家是數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)外部的數(shù)據(jù)產(chǎn)品消費(fèi)者。
• 數(shù)據(jù)基礎(chǔ)設(shè)施角色是平臺團(tuán)隊(duì)的一部分，促進(jìn)多種數(shù)據(jù)產(chǎn)品的發(fā)展。
• 同樣，治理和支持團(tuán)隊(duì)也發(fā)揮著首要的支持作用。

由于多種原因，實(shí)際情況可能比上圖復(fù)雜一些：

• 在實(shí)踐中，數(shù)據(jù)精煉過程通常并不完全是線性的。
• 數(shù)據(jù)產(chǎn)品是依賴/嵌套的。由數(shù)據(jù)科學(xué)家創(chuàng)建并由機(jī)器學(xué)習(xí)工程師操作的模型的預(yù)測本身可能會(huì)成為數(shù)據(jù)產(chǎn)品。
• 數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師也可能是更大、更復(fù)雜的數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)的一部分。當(dāng)數(shù)據(jù)產(chǎn)品包含機(jī)器學(xué)習(xí)/建模步驟時(shí)，而且當(dāng)一定級別的數(shù)據(jù)分析（例如使用統(tǒng)計(jì)）成為數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)的必備條件時(shí)，就會(huì)發(fā)生這種情況。

開始嘗試

感覺有點(diǎn)不知所措，不確定從哪里開始這個(gè)過程？積極的一面是，踏上這一旅程比看起來更容易管理。以下是一些入門的提示：

• 不要將數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)視為需要雇用的一組人員。更有可能的是，這些人已經(jīng)是組織的一部分，您可以向他們分配特殊的額外職責(zé)。對于較小的組織和數(shù)據(jù)產(chǎn)品，一個(gè)人可能承擔(dān)多個(gè)角色。
• 從小事做起，但從現(xiàn)在開始。一個(gè)好的起點(diǎn)通常是 1 或 2 個(gè)人明確負(fù)責(zé)數(shù)據(jù)產(chǎn)品，并得到 IT 組織和精心選擇的工具集的支持。
• 考慮數(shù)據(jù)的性質(zhì)。一些數(shù)據(jù)質(zhì)量工具可以幫助您理解和管理特定的數(shù)據(jù)類型。選擇正確的支持工具通?？梢宰尲夹g(shù)水平較低的人員更輕松地組合多個(gè)角色，例如數(shù)據(jù)工程師和數(shù)據(jù)管理員角色。

數(shù)據(jù)作為戰(zhàn)略資產(chǎn)

人們經(jīng)常談?wù)摂?shù)據(jù)的戰(zhàn)略重要性。然而，如今，許多以傳感器數(shù)據(jù)為運(yùn)營核心的物聯(lián)網(wǎng)和制造公司沒有適當(dāng)?shù)臋C(jī)制來控制數(shù)據(jù)。IT 部門的治理舉措常常忽視數(shù)據(jù)產(chǎn)品和數(shù)據(jù)質(zhì)量管理對 OT 和物聯(lián)網(wǎng)數(shù)據(jù)的重要性。

如果我們希望數(shù)字化轉(zhuǎn)型計(jì)劃能夠規(guī)?；覀冃枰獜恼?wù)撐锫?lián)網(wǎng)數(shù)據(jù)作為一種戰(zhàn)略資產(chǎn)轉(zhuǎn)變?yōu)檎嬲龑⑵湟暈橐环N戰(zhàn)略資產(chǎn)。