“福利”多多，速來(lái)報(bào)名！戴爾科技PRAVEGA創(chuàng)客大賽圓你創(chuàng)新夢(mèng)

作者：佚名 2021-07-23 21:04:03

為了滿足層出不窮的實(shí)時(shí)應(yīng)用場(chǎng)景，同時(shí)降低大數(shù)據(jù)應(yīng)用平臺(tái)的投入，戴爾易安信流數(shù)據(jù)處理平臺(tái)（Streaming Data Platform,SDP）應(yīng)運(yùn)而生。

一個(gè)窨井蓋壞了

多久能被工作人員發(fā)現(xiàn)？

在上海浦東

只需要幾分鐘

這離不開(kāi)物聯(lián)網(wǎng)設(shè)備提供的

實(shí)時(shí)數(shù)據(jù)支持

[[412758]]

IDC預(yù)測(cè)到2025年

全球物聯(lián)網(wǎng)設(shè)備數(shù)量

將達(dá)到416億臺(tái)

如何存儲(chǔ)、利用這些

實(shí)時(shí)產(chǎn)生的流數(shù)據(jù)

成為一個(gè)亟待解決的問(wèn)題

美劇《上載新生》大開(kāi)“腦洞”，對(duì)未來(lái)數(shù)字化生活“狠狠”進(jìn)行了一番暢想，人工智能提醒你買(mǎi)菠菜補(bǔ)鐵，虛擬交警借助無(wú)人機(jī)飛到違章車(chē)主面前罰款……如果將邁向新階段的數(shù)字化生活比作向目的地高速行駛的汽車(chē)，那么數(shù)據(jù)就是提供源動(dòng)力的燃料。

如今，“燃料”的供應(yīng)來(lái)源正在擴(kuò)大。數(shù)據(jù)的創(chuàng)建、使用和存儲(chǔ)位置不再局限于傳統(tǒng)的數(shù)據(jù)中心，也不再僅限于云端。數(shù)據(jù)源源不斷地從各種來(lái)源和位置流式傳輸而來(lái)，包括通過(guò)無(wú)線和移動(dòng)方式傳送的數(shù)據(jù)。

隨著邊緣的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，如同水龍頭里的水，流數(shù)據(jù)嘩嘩地流出，5G網(wǎng)絡(luò)的興起，更是為流數(shù)據(jù)打開(kāi)了流量“閥門(mén)”。容器云、高性能存儲(chǔ)硬件水平的不斷提高，讓實(shí)時(shí)流處理?yè)碛性絹?lái)越廣泛的市場(chǎng)前景。

流數(shù)據(jù)，簡(jiǎn)言之，是指沒(méi)有明確定義開(kāi)始或結(jié)束的連續(xù)數(shù)據(jù)流。比如，我們看的“下飯”綜藝屬于視頻流、上下班聽(tīng)的音樂(lè)屬于音頻流。流數(shù)據(jù)的來(lái)源包括日常生活中的移動(dòng)應(yīng)用程序、安全攝像頭、無(wú)人機(jī)等邊緣設(shè)備。

[[412759]]

這些來(lái)源豐富的流數(shù)據(jù)呈現(xiàn)出以下特點(diǎn)：

數(shù)據(jù)實(shí)時(shí)到達(dá)；

數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值；

數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制；

數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)昂貴。

流數(shù)據(jù)的這些特點(diǎn)，令企業(yè)開(kāi)始重新審視應(yīng)用程序以及基礎(chǔ)架構(gòu)的部署。加之，數(shù)字化時(shí)代，用戶需要沉浸式、實(shí)時(shí)的數(shù)字體驗(yàn)和互動(dòng)，流數(shù)據(jù)處理解決方案面臨著諸多需求。

一方面，傳統(tǒng)的批處理數(shù)據(jù)引擎已經(jīng)完全無(wú)法滿足現(xiàn)代企業(yè)對(duì)實(shí)時(shí)性的要求；另一方面，現(xiàn)有的流數(shù)據(jù)系統(tǒng)大都基于消息模型，例如Kafka、Spark等，這些系統(tǒng)從本質(zhì)上看，僅僅只是一些高速消息系統(tǒng)，因此很難適應(yīng)當(dāng)今物聯(lián)網(wǎng)趨勢(shì)下的各種復(fù)雜數(shù)據(jù)處理需求。

為了滿足層出不窮的實(shí)時(shí)應(yīng)用場(chǎng)景，同時(shí)降低大數(shù)據(jù)應(yīng)用平臺(tái)的投入，戴爾易安信流數(shù)據(jù)處理平臺(tái)（Streaming Data Platform,SDP）應(yīng)運(yùn)而生。作為一個(gè)可彈性擴(kuò)展的平臺(tái)，SDP用于實(shí)時(shí)獲取、存儲(chǔ)和分析連續(xù)的流數(shù)據(jù)，可在同一個(gè)應(yīng)用程序中同時(shí)處理實(shí)時(shí)和收集的歷史數(shù)據(jù)。

該平臺(tái)可以從各種來(lái)源捕獲和存儲(chǔ)流數(shù)據(jù)，這些來(lái)源包括物聯(lián)網(wǎng)設(shè)備、網(wǎng)絡(luò)日志、工業(yè)自動(dòng)化、財(cái)務(wù)數(shù)據(jù)、實(shí)時(shí)視頻、社交媒體源、應(yīng)用程序和事件流。SDP能夠處理來(lái)自多個(gè)來(lái)源的數(shù)百萬(wàn)個(gè)數(shù)據(jù)流，并確保低延遲和高可用性。

在今年的戴爾科技集團(tuán)全球峰會(huì)，升級(jí)后的戴爾易安信流數(shù)據(jù)平臺(tái)全新亮相。新的SDP能夠在邊緣提供強(qiáng)大的實(shí)時(shí)分析能力。同時(shí)占用空間較小，非常適合在邊緣實(shí)時(shí)捕獲、存儲(chǔ)和分析流數(shù)據(jù)。

目前，戴爾易安信流數(shù)據(jù)平臺(tái)已經(jīng)在工業(yè)制造、建筑等行業(yè)得到實(shí)際應(yīng)用，為客戶業(yè)務(wù)提供預(yù)防性維護(hù)、檢測(cè)等服務(wù)，并參與到戴爾科技為中國(guó)賽艇隊(duì)、皮劃艇隊(duì)開(kāi)發(fā)的綜合智能訓(xùn)練輔助系統(tǒng)中，提供邊緣流數(shù)據(jù)處理解決方案。

而SDP的成功落地離不開(kāi)其“得力干將”——流數(shù)據(jù)存儲(chǔ)引擎Pravega。

“Good Speed”是如何實(shí)現(xiàn)的

Pravega在梵語(yǔ)中意為“Good Speed”，其設(shè)計(jì)宗旨是成為流的實(shí)時(shí)存儲(chǔ)解決方案。作為平臺(tái)內(nèi)的自研開(kāi)源組件，Pravega是戴爾易安信流數(shù)據(jù)平臺(tái)最基礎(chǔ)的組件，承擔(dān)著為所有其它組件提供流式數(shù)據(jù)存取服務(wù)的重任。

應(yīng)用程序?qū)?shù)據(jù)持久化存儲(chǔ)到Pravega中，Pravega的Stream可以有無(wú)限制的數(shù)量并且持久化存儲(chǔ)任意長(zhǎng)時(shí)間，使用同樣的Reader API提供尾讀(tail read)和追趕讀(catch-up read)功能，能夠有效滿足兩種處理方式的統(tǒng)一。

Kafka和Pulsar等消息中間件提供了非常適合當(dāng)今數(shù)據(jù)密集型應(yīng)用程序的現(xiàn)代Pub/Su基礎(chǔ)架構(gòu)。Pravega進(jìn)一步增強(qiáng)了這種流行的編程模型，提供了云原生流媒體基礎(chǔ)設(shè)施，并解決了令Kafka和Pulsar束手無(wú)策的架構(gòu)問(wèn)題，如分區(qū)的自動(dòng)擴(kuò)展、如何為大量分區(qū)保持高性能。

▲Pravega架構(gòu)圖

Pravega采取了存儲(chǔ)分層的設(shè)計(jì)：

Tier 1存儲(chǔ)

Tier1的存儲(chǔ)通常部署在Pravega集群內(nèi)部，主要是提供對(duì)低延遲，短期的熱數(shù)據(jù)的存儲(chǔ)。在每個(gè)Segment Store結(jié)點(diǎn)都有Cache以加快數(shù)據(jù)讀取速率，Pravega使用Apache Bookeeper來(lái)保證低延遲的日志存儲(chǔ)服務(wù)。

Long-term存儲(chǔ)

Long-term的存儲(chǔ)通常部署在Pravega集群外部，主要是提供對(duì)流數(shù)據(jù)的長(zhǎng)期存儲(chǔ)，即冷數(shù)據(jù)的存儲(chǔ)。不僅支持HDFS、NFS，還會(huì)支持企業(yè)級(jí)的存儲(chǔ)如戴爾易安信Isilon、ECS等產(chǎn)品。

存儲(chǔ)分層使Pravega在延遲與吞吐量之間達(dá)到了一個(gè)最佳狀態(tài)。這使得Pravega成為向?qū)崟r(shí)和批處理（分析）應(yīng)用程序提供數(shù)據(jù)的理想存儲(chǔ)基礎(chǔ)。并且，Pravega是以Kubernetes Operator來(lái)對(duì)集群各組件進(jìn)行有狀態(tài)的應(yīng)用部署，這可以使得應(yīng)用的彈性伸縮更為靈活方便。

Pravega解決了使用傳統(tǒng)消息隊(duì)列數(shù)據(jù)丟失問(wèn)題和自動(dòng)伸縮難題，客戶可以借助其降低存儲(chǔ)和計(jì)算成本，減小運(yùn)維壓力，提高代碼開(kāi)發(fā)效率。此前，Pravega還聯(lián)合TiDB構(gòu)建了實(shí)時(shí)數(shù)據(jù)倉(cāng)方案，提高了實(shí)時(shí)數(shù)倉(cāng)系統(tǒng)的并行性，可用性與安全性。

豐富的應(yīng)用場(chǎng)景，令Pravega擁有廣闊的空間大施拳腳。下面我們跟隨戴爾易安信流數(shù)據(jù)平臺(tái)產(chǎn)品營(yíng)銷(xiāo)經(jīng)理Amy Tenanes的介紹，一起來(lái)了解下它是如何為企業(yè)降低運(yùn)營(yíng)成本、提供實(shí)時(shí)洞察力和流程優(yōu)化的。

Pravega的典型應(yīng)用場(chǎng)景

游樂(lè)園設(shè)施的預(yù)防性維護(hù)

通過(guò)使用Pravega，客戶可以從游樂(lè)園過(guò)山車(chē)沿線的數(shù)千個(gè)傳感器中，獲取實(shí)時(shí)流數(shù)據(jù)。這些數(shù)據(jù)可用于識(shí)別關(guān)鍵點(diǎn)，比如過(guò)山車(chē)上軌道上有多少輛車(chē)，這些車(chē)在某一點(diǎn)經(jīng)過(guò)時(shí)傳感器每秒經(jīng)歷多少次振動(dòng)。

[[412762]]

假設(shè)一個(gè)正常的振動(dòng)讀數(shù)是每秒3000次，當(dāng)振動(dòng)讀數(shù)過(guò)高時(shí)，Pravega可以提醒維護(hù)技術(shù)人員某個(gè)特定的游樂(lè)設(shè)施需要維護(hù)。同樣的數(shù)據(jù)可以在以后使用完全相同的工具進(jìn)行訪問(wèn)，有助于客戶在更長(zhǎng)的時(shí)間段內(nèi)進(jìn)行比較，總結(jié)出趨勢(shì)，以預(yù)測(cè)故障或確定維修需求。

不僅是過(guò)山車(chē)，汽車(chē)行業(yè)同樣也可以用到Pravega。它能夠?yàn)橛蜏?、輪胎壓力表等設(shè)置閾值，在輪胎漏氣、發(fā)動(dòng)機(jī)狀況不佳等問(wèn)題進(jìn)一步惡化前，提醒客戶進(jìn)行預(yù)防性維護(hù)。

工業(yè)物聯(lián)網(wǎng)中的異常檢測(cè)

在制造業(yè)環(huán)境中，異常檢測(cè)對(duì)節(jié)省時(shí)間、資源和開(kāi)支極為重要。借助安置在生產(chǎn)線上的物聯(lián)網(wǎng)傳感器和攝像頭，Pravega可以捕獲圖像和數(shù)據(jù)，比如傳送帶的速度和溫度。

攝像機(jī)圖像可以自動(dòng)發(fā)現(xiàn)不符合規(guī)格的零部件或產(chǎn)品，然后發(fā)出警報(bào)，提醒哪里存在異?，F(xiàn)象。利用來(lái)自傳感器的數(shù)據(jù)，客戶很容易發(fā)現(xiàn)機(jī)器的環(huán)境溫度是否太高、傳送帶的速度是否正常等。

[[412763]]

此外，異常檢測(cè)還可用于制造業(yè)之外的許多行業(yè)。比如它可以用于金融業(yè)，檢測(cè)移動(dòng)支票存款中的異常情況；可以用于咖啡飲品行業(yè)，通過(guò)監(jiān)測(cè)數(shù)據(jù)對(duì)機(jī)器的預(yù)防性維護(hù)，并提供自動(dòng)重新訂購(gòu)用品；還可以用于發(fā)電站，以發(fā)現(xiàn)水力發(fā)電設(shè)施的不足之處，其實(shí)際應(yīng)用非常廣闊。

建筑業(yè)中施工的準(zhǔn)確性和資源跟蹤

在建筑環(huán)境中，無(wú)人機(jī)將實(shí)時(shí)視頻和遙測(cè)數(shù)據(jù)流傳送到Pravega。通過(guò)其提供的建筑項(xiàng)目實(shí)時(shí)進(jìn)展情況，最新進(jìn)展報(bào)告可以將項(xiàng)目的數(shù)字效果圖與實(shí)際進(jìn)展情況進(jìn)行比較，確保施工的準(zhǔn)確性和規(guī)劃時(shí)間的適當(dāng)性。

[[412764]]

同時(shí)，通過(guò)在地面建筑設(shè)備上安裝傳感器，Pravega可以實(shí)現(xiàn)物體檢測(cè)，并對(duì)設(shè)備、人員和材料進(jìn)行跟蹤，確保在多個(gè)項(xiàng)目中對(duì)每一部分的資源進(jìn)行最佳分配、利用。

“智能廚房”中的溫度控制

Pravega可與大型儲(chǔ)存冷柜中的數(shù)字溫度計(jì)一起使用，實(shí)時(shí)獲取流式溫度讀數(shù)，并在溫度超出范圍時(shí)發(fā)出警報(bào)。這可以防止冷藏食品在冷柜門(mén)沒(méi)關(guān)好的情況下變質(zhì)，從而讓食品獲得盡可能長(zhǎng)的保質(zhì)期。

隨著自動(dòng)駕駛、股票交易等更多流數(shù)據(jù)應(yīng)用場(chǎng)景的興起，戴爾易安信流數(shù)據(jù)處理平臺(tái)將服務(wù)更多領(lǐng)域，Pravega的價(jià)值也會(huì)進(jìn)一步放大，“飛入”各行各業(yè)，幫助客戶加速數(shù)字化轉(zhuǎn)型。

各位少俠、俠女且留步

We want you！

與小伙伴合力闖蕩

流世界的機(jī)會(huì)來(lái)了

[[412765]]

今天，實(shí)時(shí)流無(wú)處不在

而Pravega為流式計(jì)算

重新構(gòu)建了全新的存儲(chǔ)

想不想

全面了解Pravega的優(yōu)秀特性

與業(yè)界大牛來(lái)一場(chǎng)親密接觸

展示你和小伙伴