51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

精品班

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

文章博文

共 69 條

帶你深入淺出，徹底了解什么是Spark？

????????大數(shù)據(jù)專業(yè)，或者人工智能，深度學(xué)習(xí)方向的小伙伴們一定對(duì)Spark這個(gè)名詞不陌生吧~不認(rèn)識(shí)也沒(méi)有關(guān)系，今天Alice為大家?guī)?lái)關(guān)于Spark的一個(gè)詳細(xì)介紹。文章目錄激動(dòng)人心的Spark發(fā)展史Spark為什么流行？1：優(yōu)秀的數(shù)據(jù)模型和計(jì)算抽象2：完善的生態(tài)圈3.Spark VS HadoopSpark使...

2021-06-01 17:48:55

Spark 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)面試殺招——Spark高頻考點(diǎn)，必知必會(huì)!

關(guān)于大數(shù)據(jù)面試中Spark的高頻考點(diǎn)，快來(lái)學(xué)習(xí)!

2021-06-01 17:20:31

Spark

如何監(jiān)控Azure Databricks集群資源使用率

Azure Databricks可以監(jiān)控嗎？如何監(jiān)控Azure Databricks呢？這篇文章給你答案！

2021-05-21 15:19:58

Azure Datab Databricks 監(jiān)控

網(wǎng)易Spark Kyuubi核心架構(gòu)設(shè)計(jì)與源碼實(shí)現(xiàn)剖析

本文較為系統(tǒng)、全面并且由淺入深地介紹了網(wǎng)易Spark Kyuubi出現(xiàn)的背景、核心架構(gòu)設(shè)計(jì)與關(guān)鍵源碼實(shí)現(xiàn)，是學(xué)習(xí)、應(yīng)用和對(duì)Kyuubi進(jìn)行二次開(kāi)發(fā)不可多得的技術(shù)干貨。

2021-05-17 03:41:26

大數(shù)據(jù)Spark Kyuubi

prometheus+ Grafana監(jiān)控全家桶

普羅米修斯監(jiān)控操作系統(tǒng)，elasticsearch、kafka、flink

2021-05-13 10:04:17

普羅米修斯監(jiān)控es prometheus prometheus

實(shí)時(shí)計(jì)算框架：Flink集群搭建與運(yùn)行機(jī)制

Flink是一個(gè)框架和分布式處理引擎，用于對(duì)無(wú)界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算。Flink被設(shè)計(jì)在所有常見(jiàn)的集群環(huán)境中運(yùn)行，以內(nèi)存執(zhí)行速度和任意規(guī)模來(lái)執(zhí)行計(jì)算。主要特性包括：批流一體化、精密的狀態(tài)管理、事件時(shí)間支持以及精確一次的狀態(tài)一致性保障等。Flink不僅可以運(yùn)行在包括YARN、Mesos、Kubernetes在內(nèi)的多種資源管理框架上，還支持在裸機(jī)集群上獨(dú)立部署。在啟用高可用選項(xiàng)的情況下，它不存在單點(diǎn)失效問(wèn)題。

2021-05-09 19:33:48

Flink Spark 大數(shù)據(jù)

實(shí)時(shí)計(jì)算框架：Spark集群搭建與入門案例

Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的，基于內(nèi)存快速通用,可擴(kuò)展的集群計(jì)算引擎，實(shí)現(xiàn)了高效的DAG執(zhí)行引擎,可以通過(guò)基于內(nèi)存來(lái)高效處理數(shù)據(jù)流，運(yùn)算速度相比于MapReduce得到了顯著的提高。

2021-04-26 08:32:07

Spark 大數(shù)據(jù)實(shí)時(shí)計(jì)算

SparkSubmit object分析

org.apache.spark.deploy.SparkSubmit分析ObjectSparkSubmit類圖分析![](https://s4.51cto.com/images/blog/202104/22/6f3f6821c2c3e8903ec82254c4ca02e0.png?x-oss-process=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6

2021-04-22 14:54:23

submit 源碼

Spark性能調(diào)優(yōu)-Shuffle調(diào)優(yōu)及故障排除篇

Spark調(diào)優(yōu)之Shuffle調(diào)優(yōu)本節(jié)開(kāi)始先講解Shuffle核心概念；然后針對(duì)HashShuffle、SortShuffle進(jìn)行調(diào)優(yōu)；接下來(lái)對(duì)map端、reduce端調(diào)優(yōu)；再針對(duì)Spark中的數(shù)據(jù)傾斜問(wèn)題進(jìn)行剖析及調(diào)優(yōu)；最后是Spark運(yùn)行過(guò)程中的故障排除。本文首發(fā)于公眾號(hào)【五分鐘學(xué)大數(shù)據(jù)】，本公號(hào)專注于大數(shù)據(jù)技術(shù)，分享高質(zhì)量大數(shù)據(jù)原創(chuàng)技術(shù)文章。一、Shuffle的核心概念1. ShuffleM

2021-03-24 21:06:08

大數(shù)據(jù)spark

Spark性能調(diào)優(yōu)-RDD算子調(diào)優(yōu)篇（深度好文，面試常問(wèn)，建議收藏）

Spark調(diào)優(yōu)之RDD算子調(diào)優(yōu)不廢話，直接進(jìn)入正題！1. RDD復(fù)用在對(duì)RDD進(jìn)行算子時(shí)，要避免相同的算子和計(jì)算邏輯之下對(duì)RDD進(jìn)行重復(fù)的計(jì)算，如下圖所示：RDD的重復(fù)計(jì)算對(duì)上圖中的RDD計(jì)算架構(gòu)進(jìn)行修改，得到如下圖所示的優(yōu)化結(jié)果：RDD架構(gòu)優(yōu)化2. 盡早filter獲取到初始RDD后，應(yīng)該考慮盡早地過(guò)濾掉不需要的數(shù)據(jù)，進(jìn)而減少對(duì)內(nèi)存的占用，從而提升Spark作業(yè)的運(yùn)行效率。本文首發(fā)于公眾號(hào)：五分

2021-03-06 09:43:48

大數(shù)據(jù)spark 大數(shù)據(jù)面試

Flink實(shí)戰(zhàn)，APP推廣情況分析

接著https://blog.51cto.com/mapengfei/2581240這里用Flink來(lái)實(shí)現(xiàn)對(duì)APP在每個(gè)渠道的推廣情況包括下載、查看、卸載等等行為的分析因?yàn)橹暗奈恼露际怯胹cala寫的，這篇用java來(lái)實(shí)現(xiàn)一波，分別演示下用aggregate聚合方式和process方式的實(shí)現(xiàn)和效果整體思路1、準(zhǔn)備好數(shù)據(jù)源：這里用SimulatedSource來(lái)自己隨機(jī)造一批數(shù)據(jù)2、準(zhǔn)備數(shù)據(jù)輸入樣

2021-01-10 21:13:17

flink APP統(tǒng)計(jì)flink java

Flink實(shí)戰(zhàn)，實(shí)時(shí)流量統(tǒng)計(jì) TOPN訪問(wèn)URL

跟https://blog.51cto.com/mapengfei/2580330類似場(chǎng)景，來(lái)從Nginx、Apache等web服務(wù)器的日志中讀取數(shù)據(jù)，實(shí)時(shí)統(tǒng)計(jì)出來(lái)訪問(wèn)熱度最高的TOPN訪問(wèn)URL，并且要確保數(shù)據(jù)亂序的處理，lag等情況下，還要確認(rèn)數(shù)據(jù)的準(zhǔn)確性目標(biāo)：從log文件中讀取數(shù)據(jù)（也可以參考上一篇從kakfa中），取http的method為get的請(qǐng)求，并且把靜態(tài)文件訪問(wèn)過(guò)濾掉，進(jìn)行實(shí)時(shí)統(tǒng)

2021-01-03 17:09:18

Flink從入門到真香(16、Flink內(nèi)置的一些Process Function)

之前的轉(zhuǎn)換算子是無(wú)法訪問(wèn)事件的時(shí)間戳信息和水位線信息的，而這在一些應(yīng)用場(chǎng)景下，極為重要。例如MapFunction這樣子的map轉(zhuǎn)換算子就無(wú)法訪問(wèn)時(shí)間戳或者當(dāng)前事件的事件事件。基于此，DataStreamAPI提供了一系列LOW-LEVEL的轉(zhuǎn)換算子調(diào)用。可以訪問(wèn)時(shí)間戳，watermark以及注冊(cè)定時(shí)事件，還可以輸出特定的一些事件，例如超時(shí)時(shí)間等。processfunction用來(lái)構(gòu)建事件驅(qū)動(dòng)的應(yīng)

2020-11-25 21:54:42

Flink check checkpoint 狀態(tài)后端

生產(chǎn)SparkStreaming數(shù)據(jù)零丟失最佳實(shí)踐(含代碼)

生產(chǎn)上保證數(shù)據(jù)零丟失(斷批還原)

2019-06-22 09:14:33

Spark Spark Strea

Spark on Yarn with Hive實(shí)戰(zhàn)案例與常見(jiàn)問(wèn)題解決

2018-10-09 11:14:27

Spark Yarn Hive

記錄一則Spark讀寫和Lost Excutor錯(cuò)誤的分析和解決過(guò)程

一、概述上篇blog記錄了些在用spark-sql時(shí)遇到的一些問(wèn)題，今天繼續(xù)記錄用Spark提供的RDD轉(zhuǎn)化方法開(kāi)發(fā)公司第一期標(biāo)簽分析系統(tǒng)（一部分scala作業(yè)邏輯代碼后面blog再給大家分享）遇到的一些SPARK作業(yè)錯(cuò)誤信息。其中有些問(wèn)題可能一些數(shù)據(jù)量或者shuffle量比較小的作業(yè)時(shí)不會(huì)遇到的，我們整套標(biāo)簽系統(tǒng)的初級(jí)輸入數(shù)據(jù)大概是8T左右，這里也是個(gè)參考。(下面的Spark部署模

2015-02-27 18:10:20

hadoop spark

利用saltstack的api接口和modules實(shí)現(xiàn)實(shí)時(shí)監(jiān)控

前言：其實(shí)一說(shuō)起實(shí)時(shí)監(jiān)控，我就有很多的感想 ~ 以前也做過(guò)幾個(gè)類似的全網(wǎng)流量監(jiān)控的項(xiàng)目，用過(guò)websocket的模式的，還有就是redis pubsub模式，還有就是從同事的nagios獲取流量數(shù)據(jù)（這個(gè)結(jié)果很郁悶，nagios加了Ndoutils插件后可以把數(shù)據(jù)存入到mysql里面，當(dāng)時(shí)水平不到位，獲取的數(shù)據(jù)有斷鏈，原因不明）。這些方法也都

2013-12-27 08:23:02

saltstack m saltstack a saltstack

flex viewstack的簡(jiǎn)單應(yīng)用

1 Flex API里面介紹viewstack： MX ViewStack 導(dǎo)航器容器由一組彼此上下堆疊的子容器組成，其中一次只可以顯示一個(gè)子容器。選擇另一個(gè)子容器后，它將顯示在原來(lái)子容器的位置處，所以看起來(lái)好像此子容器替換了原來(lái)的子容器。但是，原來(lái)的子容器仍然存在，只不過(guò)它現(xiàn)在處于不可見(jiàn)

2012-04-24 09:27:53

flex viewst

Flex SDK 4(Gumbo)更方便的自定義樣式、自定義SparkSkin（二）

上一篇文章介紹了在Flex SDK 4(Gumbo)如何通過(guò)代碼來(lái)設(shè)定樣式，本篇文章詳細(xì)說(shuō)明一下這些代碼的含義。由于上一篇文章已經(jīng)給出代碼，因此在本篇文章中就不再重復(fù)了。自定義Button的mxml的代碼解釋： 1、<s:SparkSkin xmlns:s="library://ns.adobe.

2009-07-06 09:00:25

Flex FB4新體驗(yàn)SolidColor

上一頁(yè) 1 2

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Spark