<ol id="oepkv"><dl id="oepkv"></dl></ol><ul id="oepkv"></ul>

51CTO首頁(yè)

AI.x社區(qū)

博客

學(xué)堂

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開(kāi)發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開(kāi)發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開(kāi)發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

Spark

353內(nèi)容??

關(guān)注

涵蓋Spark相關(guān)研究熱點(diǎn)、技術(shù)難點(diǎn)與應(yīng)用場(chǎng)景，讓用戶更加了解這一為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。

文章博文

共 69 條

【Pyspark】常用數(shù)據(jù)分析基礎(chǔ)操作

文章目錄零、準(zhǔn)備工作0.1 安裝pyspark一、pyspark.sql部分1.窗口函數(shù)2.更換列名：3.sql將一個(gè)字段根據(jù)某個(gè)字符拆分成多個(gè)字段顯示4.pd和spark的dataframe進(jìn)行轉(zhuǎn)換

2023-04-14 16:42:26

數(shù)據(jù)分析 pyspark 特征工程

數(shù)據(jù)測(cè)試實(shí)踐：從一個(gè)bug開(kāi)始的大數(shù)據(jù)引擎兼容性探索

在大數(shù)據(jù)時(shí)代，精準(zhǔn)而有效的數(shù)據(jù)對(duì)于每個(gè)致力于長(zhǎng)期發(fā)展的組織來(lái)說(shuō)都是重要資產(chǎn)之一，而數(shù)據(jù)測(cè)試更是不可或缺的一部分。數(shù)據(jù)測(cè)試不僅關(guān)注數(shù)據(jù)加工的代碼邏輯，還要考慮大數(shù)據(jù)執(zhí)行引擎帶來(lái)的影響，因?yàn)楦鞣N引擎框架將對(duì)同一份數(shù)據(jù)產(chǎn)生不同的計(jì)算或檢索結(jié)果。本文將從一個(gè)年度賬單bug引入，講解在數(shù)據(jù)測(cè)試實(shí)踐中對(duì)大數(shù)據(jù)執(zhí)行引擎兼容性差異的探索。

2023-03-07 11:32:05

Hive 大數(shù)據(jù)數(shù)據(jù)測(cè)試

Spark數(shù)據(jù)清洗【時(shí)間數(shù)據(jù)處理】

spark處理日期數(shù)據(jù)全解

2023-03-06 12:14:17

spark 日期時(shí)間毫秒級(jí)時(shí)間戳

Spark Shuffle解析

1 Shuffle的核心要點(diǎn)1.1 ShuffleMapStage與ResultStage圖ShuffleMapStage與ResultStage在劃分stage時(shí)，最后一個(gè)stage稱為finalStage，它本質(zhì)上是一個(gè)ResultStage對(duì)象，前面的所有stage被稱為ShuffleMapStage。ShuffleMapStage的結(jié)束伴隨著shuffle文件的寫磁盤。ResultStag

2023-01-31 09:09:34

數(shù)據(jù)運(yùn)行機(jī)制數(shù)據(jù)結(jié)構(gòu)

Spark 通訊架構(gòu)和調(diào)度

1、Spark 通訊架構(gòu)1.1 Spark通信架構(gòu)概述Spark2.x版本使用Netty通訊框架作為內(nèi)部通訊組件。spark 基于netty新的rpc框架借鑒了Akka的中的設(shè)計(jì)，它是基于Actor模型，如下圖所示：圖 Actor模型Spark通訊框架中各個(gè)組件（Client/Master/Worker）可以認(rèn)為是一個(gè)個(gè)獨(dú)立的實(shí)體，各個(gè)實(shí)體之間通過(guò)消息來(lái)進(jìn)行通信。具體各個(gè)組件之間的關(guān)系圖如下：圖

2023-01-30 14:18:38

調(diào)度策略數(shù)據(jù)任務(wù)調(diào)度

大數(shù)據(jù)Zookeeper-01.單機(jī)環(huán)境安裝

Zookeeper單機(jī)環(huán)境安裝

2023-01-17 17:04:06

Zookeeper 大數(shù)據(jù)數(shù)據(jù)分析

Hudi Upsert原理

Hudi upsert

2022-11-24 10:07:15

數(shù)據(jù)加載 spark

【W(wǎng)eb開(kāi)發(fā)】Python實(shí)現(xiàn)Web儀表盤功能（Grafana）

Grafana是一個(gè)開(kāi)源的，擁有豐富dashboard和圖表編輯的指標(biāo)分析平臺(tái)，

2022-11-05 22:38:55

python web server grafana

SQL進(jìn)階篇之函數(shù)

SQL 擁有很多可用于計(jì)數(shù)和計(jì)算的內(nèi)建函數(shù)，他們可以讓數(shù)據(jù)統(tǒng)計(jì)工作更加便利

2022-10-21 00:40:10

sql 結(jié)果集函數(shù)返回

SQL進(jìn)階篇之高級(jí)應(yīng)用

在實(shí)際的數(shù)據(jù)庫(kù)使用中，除了CRUD，還有很多高級(jí)應(yīng)用值得學(xué)習(xí)和掌握，能夠在平時(shí)的工作中得到很多便利

2022-10-19 04:15:11

sql 數(shù)據(jù)類型結(jié)果集

阿里云大數(shù)據(jù)開(kāi)發(fā)一面面經(jīng)，已過(guò)，面試題已配答案

2022-10-18 12:25:24

spark hadoop 大數(shù)據(jù)開(kāi)發(fā)面試題

Spark常規(guī)性能調(diào)優(yōu)（一）

1、常規(guī)性能調(diào)優(yōu)一：最優(yōu)資源配置Spark性能調(diào)優(yōu)的第一步，就是為任務(wù)分配更多的資源，在一定范圍內(nèi)，增加資源的分配與性能的提升是成正比的，實(shí)現(xiàn)了最優(yōu)的資源配置后，在此基礎(chǔ)上再考慮進(jìn)行后面論述的性能調(diào)優(yōu)策略。資源的分配在使用腳本提交Spark任務(wù)時(shí)進(jìn)行指定，標(biāo)準(zhǔn)的Spark任務(wù)提交腳本如代碼清單所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 數(shù)據(jù)持久化

SQL進(jìn)階篇之多表聯(lián)查

在實(shí)際開(kāi)發(fā)過(guò)程中，隨著產(chǎn)品迭代，多表聯(lián)查無(wú)法避免

2022-10-14 17:31:43

sql 結(jié)果集主鍵

SQL進(jìn)階篇之約束(Constraints)

約束用于限制加入表的數(shù)據(jù)的類型，可以在創(chuàng)建表時(shí)規(guī)定約束(通過(guò) CREATE TABLE 語(yǔ)句)，或者在表創(chuàng)建之后也可以(通過(guò) ALTER TABLE 語(yǔ)句)

2022-10-14 15:17:40

sql oracle mysql

Spark常見(jiàn)數(shù)據(jù)傾斜情況及調(diào)優(yōu)方案

1、數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜問(wèn)題主要指shuffle過(guò)程中出現(xiàn)的數(shù)據(jù)傾斜問(wèn)題，是由于不同的key對(duì)應(yīng)的數(shù)據(jù)量不同導(dǎo)致的不同task所處理的數(shù)據(jù)量不同的問(wèn)題例如，reduce點(diǎn)一共要處理100萬(wàn)條數(shù)據(jù)，第一個(gè)和第二個(gè)task分別被分配到了1萬(wàn)條數(shù)據(jù)，計(jì)算5分鐘內(nèi)完成，第三個(gè)task分配到了98萬(wàn)數(shù)據(jù)，此時(shí)第三個(gè)task可能需要10個(gè)小時(shí)完成，這使得整個(gè)Spark作業(yè)需要10個(gè)小時(shí)才能運(yùn)行完成，

2022-10-14 12:01:57

數(shù)據(jù)傾斜數(shù)據(jù)spark

Spark Troubleshooting

1、故障排除一：控制reduce端緩沖大小以避免OOM在Shuffle過(guò)程，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入磁盤后再去拉取，而是map端寫一點(diǎn)數(shù)據(jù)，reduce端task就會(huì)拉取一小部分?jǐn)?shù)據(jù)，然后立即進(jìn)行后面的聚合、算子函數(shù)的使用等操作reduce端task能夠拉取多少數(shù)據(jù)，由reduce拉取數(shù)據(jù)的緩沖區(qū)buffer來(lái)決定，因?yàn)槔∵^(guò)來(lái)的數(shù)據(jù)都是先放在buffer中

2022-10-13 00:28:55

數(shù)據(jù)spark 故障排除

【設(shè)計(jì)模式】【第五章】【開(kāi)具增值稅發(fā)票】【建造者模式 + 原型模式】

【設(shè)計(jì)模式】【開(kāi)具增值稅發(fā)票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

設(shè)計(jì)模式建造者模式原型模式

Spark面試題——Spark容錯(cuò)機(jī)制

問(wèn)過(guò)的一些公司：頭條，字節(jié)，阿里 x 3，騰訊，競(jìng)技世界參考答案：1、容錯(cuò)方式容錯(cuò)指的是一個(gè)系統(tǒng)在部分模塊出現(xiàn)故障時(shí)還能否持續(xù)的對(duì)外提供服務(wù)，一個(gè)高可用的系統(tǒng)應(yīng)該具有很高的容錯(cuò)性；對(duì)于一個(gè)大的集群系統(tǒng)來(lái)說(shuō)，機(jī)器故障、網(wǎng)絡(luò)異常等都是很常見(jiàn)的，Spark這樣的大型分布式計(jì)算集群提供了很多的容錯(cuò)機(jī)制來(lái)提高整個(gè)系統(tǒng)的可用性。一般來(lái)說(shuō)，分布式數(shù)據(jù)集的容錯(cuò)性有兩種方式：數(shù)據(jù)檢查點(diǎn)和記錄數(shù)據(jù)的更新。面向大規(guī)模

2022-09-04 09:33:19

大數(shù)據(jù)大數(shù)據(jù)開(kāi)發(fā)面試題

docker下的spark集群，調(diào)整參數(shù)榨干硬件

調(diào)整docker-compose編排的參數(shù)，充分發(fā)揮硬件信息能運(yùn)行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark實(shí)戰(zhàn)之：分析維基百科網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)(java版)

在《尋找海量數(shù)據(jù)集用于大數(shù)據(jù)開(kāi)發(fā)實(shí)戰(zhàn)(維基百科網(wǎng)站統(tǒng)計(jì)數(shù)據(jù))》一文中，我們了解了如何獲取維基百科網(wǎng)站的網(wǎng)頁(yè)點(diǎn)擊量統(tǒng)計(jì)數(shù)據(jù)，并且介紹了數(shù)據(jù)格式的基本內(nèi)容，本文以這些數(shù)據(jù)進(jìn)行實(shí)戰(zhàn)，練習(xí)基本的spark開(kāi)發(fā)

2022-08-19 00:08:03

spark hadoop java

docker下，極速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群環(huán)境會(huì)消耗一些時(shí)間和精力，今天咱們就借助docker，極速搭建和體驗(yàn)spark和hdfs的集群環(huán)境

2022-08-17 00:04:38

spark docker hdfs

第一個(gè)spark應(yīng)用開(kāi)發(fā)詳解(java版)

java版的spark應(yīng)用開(kāi)發(fā)

2022-08-12 07:13:26

spark java hdfs

領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)系列貧血模型和充血模型

使用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)至少會(huì)帶來(lái)下述優(yōu)點(diǎn)：業(yè)務(wù)邏輯被合理的分散到不同的領(lǐng)域?qū)ο笾校a結(jié)構(gòu)更加清晰，可讀性，可維護(hù)性更高；對(duì)象職責(zé)更加單一，內(nèi)聚度更高；復(fù)雜的業(yè)務(wù)模型可以通過(guò)領(lǐng)域建模（UML是一種主要方式）清晰的表達(dá)，開(kāi)發(fā)人員甚至可以在不讀源碼的情況下就能了解業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)，這有利于對(duì)現(xiàn)存的系統(tǒng)進(jìn)行維護(hù)和迭代開(kāi)發(fā)；系統(tǒng)高度模塊化，代碼重用度高，不會(huì)出現(xiàn)太多的重復(fù)邏輯。

2022-08-08 13:49:11

事件流 java 迭代

本文以經(jīng)典的協(xié)同過(guò)濾為切入點(diǎn)，重點(diǎn)介紹了被工業(yè)界廣泛使用的矩陣分解算法，從理論與實(shí)踐兩個(gè)維度介紹了該算法的原理，通俗易懂，希望能夠給大家?guī)?lái)一些啟發(fā)。

2022-07-25 09:33:44

spark 協(xié)同過(guò)濾推薦系統(tǒng)

基于Spark+Grafana可視化電商項(xiàng)目實(shí)戰(zhàn)，好文收藏~

原創(chuàng)肝文！基于Spark+Grafana可視化電商項(xiàng)目實(shí)戰(zhàn)

2022-05-25 14:30:24

spark sql 數(shù)據(jù)分析

干貨！！基于Spark Graph的社交關(guān)系圖譜項(xiàng)目實(shí)戰(zhàn)

原創(chuàng)干貨，基于spark graphframes圖計(jì)算的社交關(guān)系圖譜

2022-05-05 08:46:14

spark 圖計(jì)算社交關(guān)系圖譜

深入理解Spark原理，從性能優(yōu)化入手

1 Spark任務(wù)文件初始化調(diào)優(yōu)首先進(jìn)行性能測(cè)試，發(fā)現(xiàn)這個(gè)視頻圖譜N度級(jí)聯(lián)關(guān)系應(yīng)用分為5個(gè)job，最后一個(gè)job為保存結(jié)果到HDFS，其余job為同樣計(jì)算過(guò)程的反復(fù)迭代。但是發(fā)現(xiàn)第一個(gè)job比其他job又多了個(gè)計(jì)算階段stage，如圖中紅圈所示。通過(guò)閱讀程序代碼，發(fā)現(xiàn)第一個(gè)job需要初始化一個(gè)空數(shù)組，從而產(chǎn)生了一個(gè)stage，但是這個(gè)stage在性能測(cè)試結(jié)果上顯示，花費(fèi)了14秒的時(shí)間，遠(yuǎn)遠(yuǎn)超出合理

2022-04-29 22:40:14

服務(wù)器 spark 網(wǎng)絡(luò)通信

Spark SQL 字段血緣在 vivo 互聯(lián)網(wǎng)的實(shí)踐

字段血緣可以很好的幫助我們了解數(shù)據(jù)生成的處理過(guò)程，在探索中我們發(fā)現(xiàn)了可以通過(guò)Spark的擴(kuò)展來(lái)優(yōu)雅的實(shí)現(xiàn)這一功能

2022-04-25 10:15:07

sql spark sparksql

最強(qiáng)Flink算子大全手冊(cè)，面試拿捏了~

Flink基于流編程模型，內(nèi)置了很多強(qiáng)大功能的算子，可以幫助我們快速開(kāi)發(fā)應(yīng)用程序。特此整理Flink算子手冊(cè)，趕快拿去！

2022-03-01 21:43:20

flink scala 面試

第02講：Flink 入門程序 WordCount 和 SQL 實(shí)現(xiàn)

Flink系列文章

2022-02-10 21:59:52

flink java sql

漫畫趣解Flink實(shí)時(shí)數(shù)倉(cāng)

Flink實(shí)時(shí)數(shù)倉(cāng)架構(gòu)一文打盡

2022-01-28 23:36:57

flink 實(shí)時(shí)數(shù)倉(cāng)

我是Flink，現(xiàn)在"背"感壓力~

我是Flink，現(xiàn)在“背”感壓力，我太難了~

2022-01-19 21:18:44

flink kafka 實(shí)時(shí)計(jì)算

萬(wàn)字長(zhǎng)文玩轉(zhuǎn)Spark面試: 進(jìn)大廠必看！#yyds干貨盤點(diǎn)#

大數(shù)據(jù)Spark大廠面試一條龍，硬核干貨~

2022-01-12 00:06:23

spark 實(shí)時(shí)計(jì)算大數(shù)據(jù)

萬(wàn)字詳解實(shí)時(shí)計(jì)算一致性機(jī)制：對(duì)比Flink和Spark#yyds干貨盤點(diǎn)#

海量數(shù)據(jù)實(shí)時(shí)計(jì)算：Spark和Flink引擎是如何保證Exactly-Once一致性？

2022-01-11 07:48:20

spark 數(shù)據(jù)kafka

YYDS|不得不看的Spark內(nèi)存管理機(jī)制

萬(wàn)字最全Spark內(nèi)存管理深度剖析

2022-01-09 11:00:37

spark 內(nèi)存管理實(shí)時(shí)計(jì)算

十分鐘手撕Flink雙流JOIN面試

某年某日某君，于某都面試，為Flink雙流JOIN所惑~ 有感而發(fā)，遂下筆，為君解惑~

2022-01-04 22:53:30

Flink 大數(shù)據(jù)程序員

OPPO大數(shù)據(jù)離線計(jì)算平臺(tái)架構(gòu)演進(jìn)

OPPO大數(shù)據(jù)離線計(jì)算平臺(tái)演進(jìn)道路上，遇到了很多經(jīng)典的大數(shù)據(jù)問(wèn)題，比如說(shuō)：shuffle失敗、小文件問(wèn)題、元數(shù)據(jù)切分、多集群資源協(xié)調(diào)、spark 任務(wù)提交門戶建設(shè)。OPPO大數(shù)據(jù)離線計(jì)算平臺(tái)團(tuán)隊(duì)依托自身的資源和技術(shù)，不斷探索，務(wù)實(shí)的解決平臺(tái)發(fā)展中遇到的各種問(wèn)題。本文圍繞前面提到的五個(gè)問(wèn)題，逐步介紹我們的大數(shù)據(jù)平臺(tái)演進(jìn)之路。

2021-12-22 15:32:33

大數(shù)據(jù)spark yarn

「Spark 從精通到重新入門(二)」Spark 中不可不知的動(dòng)態(tài)資源分配

資源是影響 Spark 應(yīng)用執(zhí)行效率的一個(gè)重要因素。Spark 應(yīng)用中真正執(zhí)行 task 的組件是 Executor，可以通過(guò)spark.executor.instances 指定 Spark 應(yīng)用的 Executor 的數(shù)量。在運(yùn)行過(guò)程中，無(wú)論 Executor上是否有 task 在執(zhí)行，都會(huì)被一直占有直到此 Spark 應(yīng)用結(jié)束。

2021-12-15 13:44:25

spark sql 動(dòng)態(tài)分配

萬(wàn)字詳解 Spark 數(shù)據(jù)傾斜及解決方案

本文目錄：一、調(diào)優(yōu)概述\二、數(shù)據(jù)傾斜發(fā)生時(shí)的現(xiàn)象\三、數(shù)據(jù)傾斜發(fā)生的原理\四、如何定位導(dǎo)致數(shù)據(jù)傾斜的代碼\五、某個(gè)task執(zhí)行特別慢的情況\六、某個(gè)task莫名其妙內(nèi)存溢出的情況\七、查看導(dǎo)致數(shù)據(jù)傾斜的key的數(shù)據(jù)分布情況\八、數(shù)據(jù)傾斜的解決方案：解決方案一：使用HiveETL預(yù)處理數(shù)據(jù)解決方案二：過(guò)濾少數(shù)導(dǎo)致傾斜的key解決方案三：提高shuffle操作的并行度解決方案四：兩階段聚合（局部聚合+

2021-12-06 10:56:01

數(shù)據(jù)數(shù)據(jù)傾斜 spark

大數(shù)據(jù)面試吹牛草稿V2.0

面試吹牛之前先打個(gè)草稿！各位面試官好!本文首發(fā)于微信公眾號(hào)【五分鐘學(xué)大數(shù)據(jù)】，公眾號(hào)上有很多大數(shù)據(jù)學(xué)習(xí)方法，學(xué)習(xí)文檔，最全的大數(shù)據(jù)面試八股文等1.我叫xxx，畢業(yè)于xxx，之前在xxx公司待了1年多，期間?直從事的是IT行業(yè)，剛開(kāi)始的時(shí)候做的是Java開(kāi)發(fā)后來(lái)轉(zhuǎn)崗到大數(shù)據(jù)方向做大數(shù)據(jù)開(kāi)發(fā);剛轉(zhuǎn)行到大數(shù)據(jù)開(kāi)發(fā)的時(shí)候開(kāi)始比較困難的，大數(shù)據(jù)并不像Java那樣?套框架基本可以搞定所有的問(wèn)題，而是不同的業(yè)務(wù)

2021-12-01 16:55:31

kafka 大數(shù)據(jù)離線

Spark SQL知識(shí)點(diǎn)大全與實(shí)戰(zhàn)

SparkSQL概述1、什么是SparkSQLSparkSQL是Spark用于結(jié)構(gòu)化數(shù)據(jù)(structureddata)處理的Spark模塊。與基本的SparkRDDAPI不同，SparkSQL的抽象數(shù)據(jù)類型為Spark提供了關(guān)于數(shù)據(jù)結(jié)構(gòu)和正在執(zhí)行的計(jì)算的更多信息。在內(nèi)部，SparkSQL使用這些額外的信息去做一些額外的優(yōu)化，有多種方式與SparkSQL進(jìn)行交互，比如:SQL和DatasetAPI

2021-11-22 11:07:13

spark scala sql

Spark調(diào)優(yōu) | Spark OOM問(wèn)題常見(jiàn)解決方式

Spark OOM 問(wèn)題分析Spark常見(jiàn)的問(wèn)題不外乎OOM。我們首先看一下Spark 的內(nèi)存模型：Spark在一個(gè)Executor中的內(nèi)存分為三塊，一塊是execution內(nèi)存，一塊是storage內(nèi)存，一塊是other內(nèi)存。Execution內(nèi)存是執(zhí)行內(nèi)存，文檔中說(shuō)join，aggregate都在這部分內(nèi)存中執(zhí)行，shuffle的數(shù)據(jù)也會(huì)先緩存在這個(gè)內(nèi)存中，滿了再寫入磁盤，能夠減少IO。其實(shí)m

2021-11-19 08:48:22

spark 數(shù)據(jù)調(diào)優(yōu)

Flink計(jì)算pv和uv的通用方法

PV(訪問(wèn)量)：即PageView,即頁(yè)面瀏覽量或點(diǎn)擊量，用戶每次刷新即被計(jì)算一次。UV(獨(dú)立訪客)：即UniqueVisitor,訪問(wèn)您網(wǎng)站的一臺(tái)電腦客戶端為一個(gè)訪客。00:0024:00內(nèi)相同的客戶端只被計(jì)算一次。計(jì)算網(wǎng)站App的實(shí)時(shí)pv和uv，是很常見(jiàn)的統(tǒng)計(jì)需求，這里提供通用的計(jì)算方法，不同的業(yè)務(wù)需求只需要小改即可拿來(lái)即用。需求利用Flink實(shí)時(shí)統(tǒng)計(jì)，從0點(diǎn)到當(dāng)前的pv、uv。一、需求分析從

2021-11-01 11:26:25

Flink

Spark讀取MongoDB數(shù)據(jù)的方法與優(yōu)化

1.本文主要介紹了Spark讀區(qū)MongoDB數(shù)據(jù)的方法及自定義分區(qū)抽取數(shù)據(jù)的優(yōu)化方式

2021-10-28 10:36:53

Spark MongoDB 讀取

Flink狀態(tài)管理與狀態(tài)一致性（超級(jí)詳細(xì)）

!Flink狀態(tài)(https://s4.51cto.com/images/blog/202110/26104419_61776b833c95936026.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_se,x_10,y_10,shadow_20,type_ZmFuZ3poZW5n

2021-10-26 10:49:12

Flink

Spark的兩種核心Shuffle詳解

在 MapReduce 框架中， Shuffle 階段是連接 Map 與 Reduce 之間的橋梁， Map 階段通過(guò) Shuffle 過(guò)程將數(shù)據(jù)輸出到 Reduce 階段中。由于 Shuffle 涉及磁盤的讀寫和網(wǎng)絡(luò) I/O，因此 Shuffle 性能的高低直接影響整個(gè)程序的性能。 Spark 也有 Map 階段和 Reduce 階段，因此也會(huì)出現(xiàn) Shuffle 。文章都會(huì)首發(fā)在公眾號(hào)【五

2021-09-05 10:53:34

spark

用戶路徑分析之利器“桑基圖”

本文帶你走一遭，講講桑基圖的前世今生，桑基圖在互聯(lián)網(wǎng)產(chǎn)品分析領(lǐng)域的應(yīng)用，以及如何用python將一個(gè)常見(jiàn)埋點(diǎn)數(shù)據(jù)CSV文件做出漂亮的桑基圖。

2021-07-10 21:36:04

大數(shù)據(jù)

面試系列五之項(xiàng)目涉及技術(shù)Spark

2021-06-21 21:49:44

面試 spark

Note_Spark_Day02：Spark 基礎(chǔ)環(huán)境

Spark Day02：Spark 基礎(chǔ)環(huán)境（二）Hadoop3.0-HDFS https://www.bilibili.com/video/BV1yX4y1K7LqHadoop3.0-MapReduce https://www.bilibili.com/video/BV1Tf4y167U8Hadoop3.0-yarn https://www.bilibili.com/video/BV1wh411S76Z01-[了解]-上次課程內(nèi)容回顧主要講解2個(gè)方面的內(nèi)容：Spark 框架概述和

2021-06-21 10:36:31

Spark

Spark RDD算子進(jìn)階（轉(zhuǎn)換算子、行動(dòng)算子、緩存、持久化）

0x00 教程內(nèi)容0x01 進(jìn)階算子操作1. 創(chuàng)建RDD2. 轉(zhuǎn)換算子3. 行動(dòng)算子0x02 RDD的緩存與持久化1. 緩存與持久化的意義2. 緩存3. 持久化

2021-06-10 18:17:00

Spark教程 Spark

1 2 下一頁(yè)

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開(kāi)發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Spark