成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

<tbody id="geq8c"><small id="geq8c"></small></tbody>

<tbody id="geq8c"><small id="geq8c"></small></tbody>

<tfoot id="geq8c"><tbody id="geq8c"></tbody></tfoot>

<menu id="geq8c"></menu>

51CTO首頁(yè)

AI.x社區(qū)

軟考社區(qū)

免費(fèi)課

企業(yè)培訓(xùn)

鴻蒙開發(fā)者社區(qū)

信創(chuàng)認(rèn)證

公眾號(hào)矩陣

移動(dòng)端

視頻課免費(fèi)課排行榜短視頻直播課軟考學(xué)堂

全部課程軟考信創(chuàng)認(rèn)證華為認(rèn)證廠商認(rèn)證 IT技術(shù)PMP項(xiàng)目管理免費(fèi)題庫(kù)

在線學(xué)習(xí)

文章資源問(wèn)答課堂專欄直播

51CTO

鴻蒙開發(fā)者社區(qū)

51CTO技術(shù)棧

51CTO官微

51CTO學(xué)堂

51CTO博客

CTO訓(xùn)練營(yíng)

鴻蒙開發(fā)者社區(qū)訂閱號(hào)

51CTO軟考

51CTO學(xué)堂APP

51CTO學(xué)堂企業(yè)版APP

鴻蒙開發(fā)者社區(qū)視頻號(hào)

51CTO軟考題庫(kù)

賬號(hào)設(shè)置退出

大數(shù)據(jù)

9248內(nèi)容??

關(guān)注

大數(shù)據(jù)話題包括大數(shù)據(jù)相關(guān)的最新資訊、前沿技術(shù)、使用技巧、應(yīng)用案例等內(nèi)容，涉及數(shù)據(jù)分析、數(shù)據(jù)可視化、商業(yè)智能、Hadoop、Spark、數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、等領(lǐng)域。

文章博文帖子課程

共 225 條

【Pyspark】常用數(shù)據(jù)分析基礎(chǔ)操作

文章目錄零、準(zhǔn)備工作0.1 安裝pyspark一、pyspark.sql部分1.窗口函數(shù)2.更換列名：3.sql將一個(gè)字段根據(jù)某個(gè)字符拆分成多個(gè)字段顯示4.pd和spark的dataframe進(jìn)行轉(zhuǎn)換

2023-04-14 16:42:26

數(shù)據(jù)分析 pyspark 特征工程

詳解 Flink Catalog 在 ChunJun 中的實(shí)踐之路

我們知道 Flink 有Table（表）、View（視圖）、Function（函數(shù)/算子）、Database（數(shù)據(jù)庫(kù)）的概念，相對(duì)于這些耳熟能詳?shù)母拍睿現(xiàn)link 里還有一個(gè) Catalog（目錄）的概念。本文將為大家?guī)?lái) Flink Catalog 的介紹以及 Flink Catalog 在 ChunJun 中的實(shí)踐之路。Flink Catalog 簡(jiǎn)介Catalog 提供元數(shù)據(jù)，如數(shù)據(jù)庫(kù)、表

2023-04-07 14:25:37

MapReduce報(bào)錯(cuò)：「MKDirs failed to create file」

MapReduce報(bào)錯(cuò)：「MKDirs failed to create file」??0. 寫在前面???1. 程序代碼及報(bào)錯(cuò)信息???輸入、輸出路徑????程序代碼????報(bào)錯(cuò)信息??2. 查找資料??3. 原因分析????4. 參考??0. 寫在前面Linux：Ubuntu Kylin16.04Hadoop：Hadoop2.7.21. 程序代碼及報(bào)錯(cuò)信息輸入、輸出路徑zhangsan@had

2023-03-15 09:44:59

java hadoop Mapreduce

數(shù)據(jù)測(cè)試實(shí)踐：從一個(gè)bug開始的大數(shù)據(jù)引擎兼容性探索

在大數(shù)據(jù)時(shí)代，精準(zhǔn)而有效的數(shù)據(jù)對(duì)于每個(gè)致力于長(zhǎng)期發(fā)展的組織來(lái)說(shuō)都是重要資產(chǎn)之一，而數(shù)據(jù)測(cè)試更是不可或缺的一部分。數(shù)據(jù)測(cè)試不僅關(guān)注數(shù)據(jù)加工的代碼邏輯，還要考慮大數(shù)據(jù)執(zhí)行引擎帶來(lái)的影響，因?yàn)楦鞣N引擎框架將對(duì)同一份數(shù)據(jù)產(chǎn)生不同的計(jì)算或檢索結(jié)果。本文將從一個(gè)年度賬單bug引入，講解在數(shù)據(jù)測(cè)試實(shí)踐中對(duì)大數(shù)據(jù)執(zhí)行引擎兼容性差異的探索。

2023-03-07 11:32:05

Hive 大數(shù)據(jù)數(shù)據(jù)測(cè)試

Spark數(shù)據(jù)清洗【時(shí)間數(shù)據(jù)處理】

spark處理日期數(shù)據(jù)全解

2023-03-06 12:14:17

spark 日期時(shí)間毫秒級(jí)時(shí)間戳

使用Maven構(gòu)建Hadoop工程并實(shí)現(xiàn)詞頻統(tǒng)計(jì)案例(詳細(xì)篇)

使用Maven構(gòu)建Hadoop工程并實(shí)現(xiàn)詞頻統(tǒng)計(jì)案例(詳細(xì)篇)一、實(shí)驗(yàn)環(huán)境：Hadoop3.1.3IDEACentOS7.5Maven3.6.3偽分布式二、使用Maven構(gòu)建Hadoop工程1.解壓Maven到自己的安裝目錄tar -zxvf ./apache-maven-3.6.3-bin.tar.gz -C /opt/module/2.配置Maven環(huán)境變量vim /etc/profile.d

2023-02-14 08:39:07

hadoop maven 大數(shù)據(jù)

springboot：java實(shí)現(xiàn)郵件及附件發(fā)送、HTML正文的三種方式（三）【附帶源碼】

從代碼可以看出spring-boot-starter-mail與javax.mail的實(shí)現(xiàn)類似，都是通過(guò)類實(shí)現(xiàn)，但一定不要盲目的復(fù)制粘貼，理解，自己一行一行的復(fù)寫一遍代碼，這是千萬(wàn)不能省的！

2023-02-05 09:27:58

java spring boot html

Spark Shuffle解析

1 Shuffle的核心要點(diǎn)1.1 ShuffleMapStage與ResultStage圖ShuffleMapStage與ResultStage在劃分stage時(shí)，最后一個(gè)stage稱為finalStage，它本質(zhì)上是一個(gè)ResultStage對(duì)象，前面的所有stage被稱為ShuffleMapStage。ShuffleMapStage的結(jié)束伴隨著shuffle文件的寫磁盤。ResultStag

2023-01-31 09:09:34

數(shù)據(jù)運(yùn)行機(jī)制數(shù)據(jù)結(jié)構(gòu)

Spark 通訊架構(gòu)和調(diào)度

1、Spark 通訊架構(gòu)1.1 Spark通信架構(gòu)概述Spark2.x版本使用Netty通訊框架作為內(nèi)部通訊組件。spark 基于netty新的rpc框架借鑒了Akka的中的設(shè)計(jì)，它是基于Actor模型，如下圖所示：圖 Actor模型Spark通訊框架中各個(gè)組件（Client/Master/Worker）可以認(rèn)為是一個(gè)個(gè)獨(dú)立的實(shí)體，各個(gè)實(shí)體之間通過(guò)消息來(lái)進(jìn)行通信。具體各個(gè)組件之間的關(guān)系圖如下：圖

2023-01-30 14:18:38

調(diào)度策略數(shù)據(jù)任務(wù)調(diào)度

大數(shù)據(jù)Hadoop-04.高可用集群安裝

Hadoop 3.3.4 高可用集群安裝

2023-01-23 19:45:52

Hadoop 大數(shù)據(jù)數(shù)據(jù)分析

大數(shù)據(jù)Zookeeper-01.單機(jī)環(huán)境安裝

Zookeeper單機(jī)環(huán)境安裝

2023-01-17 17:04:06

Zookeeper 大數(shù)據(jù)數(shù)據(jù)分析

HDFS機(jī)架感知

HDFS機(jī)架感知

2023-01-16 16:22:15

機(jī)架感知 Hadoop

大數(shù)據(jù)平臺(tái)datasophon 測(cè)試部署

標(biāo)簽（空格分隔）：大數(shù)據(jù)運(yùn)維專欄一：datasophon的介紹1.1datasophon的介紹DataSophon是近日開源的一款國(guó)產(chǎn)自研大數(shù)據(jù)管理平臺(tái)，致力于快速實(shí)現(xiàn)部署、管理、監(jiān)控以及自動(dòng)化運(yùn)維大數(shù)據(jù)服務(wù)組件和節(jié)點(diǎn)的能力，幫助你快速構(gòu)建起穩(wěn)定、高效的大數(shù)據(jù)集群服務(wù)。主要有以下特性:極易部署，1小時(shí)可完成300節(jié)點(diǎn)的大數(shù)據(jù)集群部署國(guó)產(chǎn)化兼容，兼容ARM服務(wù)器和常用國(guó)產(chǎn)化操作系統(tǒng)監(jiān)控指標(biāo)全面豐富，

2023-01-11 15:36:41

大數(shù)據(jù)平臺(tái)dataso datasophon hadoop

HDFS，MapReduce，Yarn的架構(gòu)思想和設(shè)計(jì)原理

Hadoop 三大組件：HDFS，MapReduce，Yarn 的架構(gòu)分析和原理1引子????????大數(shù)據(jù)就是將各種數(shù)據(jù)統(tǒng)一收集起來(lái)進(jìn)行計(jì)算，發(fā)掘其中的價(jià)值。這些數(shù)據(jù)，既包括數(shù)據(jù)庫(kù)的數(shù)據(jù)，也包括日志數(shù)據(jù)，還包括專門采集的用戶行為數(shù)據(jù)；既包括企業(yè)內(nèi)部自己產(chǎn)生的數(shù)據(jù)，也包括從第三方采購(gòu)的數(shù)據(jù)，還包括使用網(wǎng)絡(luò)爬蟲獲取的各種

2023-01-07 00:14:02

數(shù)據(jù)服務(wù)器 HDFS

Flink SQL管理平臺(tái)flink-streaming-platform-web安裝搭建

我的gitee地址：https://gitee.com/ddxygq/bigdatatechnicalpai最近看到有人在用flinksql的頁(yè)面管理平臺(tái)，大致看了下，嘗試安裝使用，比原生的flinksql界面確實(shí)好用多了，我們看下原生的，通過(guò)bin/sqlclient.sh命令進(jìn)入那個(gè)黑框，一只松鼠，對(duì)，就是那個(gè)界面。。。。這個(gè)工具不是Flink官方出的，是一個(gè)國(guó)內(nèi)的小伙伴寫的，Github地址

2022-12-06 14:55:07

flink sql kafka

三大實(shí)例帶你搞定 Prometheus API 使用

作為一位優(yōu)秀的技術(shù)人員，往往能通過(guò)對(duì)數(shù)據(jù)的最大化利用來(lái)產(chǎn)生更多價(jià)值。而 Prometheus 的監(jiān)控?cái)?shù)據(jù)則是可以為我們所用的重要數(shù)據(jù)，它并不只能用于日常的監(jiān)控和告警使用，也可以用于數(shù)據(jù)分析、成本管理等企業(yè)需求。在這種場(chǎng)景下，需要我們從 Prometheus 去獲取相關(guān)的數(shù)據(jù)，并對(duì)其進(jìn)行處理加工。關(guān)于數(shù)據(jù)的獲取方法，通常會(huì)使用 Prometheus 提供的 API 來(lái)操作，本文將會(huì)對(duì)此進(jìn)行講解介紹。

2022-11-30 10:19:45

數(shù)據(jù)時(shí)間戳獲取數(shù)據(jù)

CDH5部署三部曲之二：部署和設(shè)置

本文是《CDH5部署三部曲》的第二篇，前文將集群所有機(jī)器做了必要的設(shè)置，今天一起來(lái)完成CDH的部署、啟動(dòng)、設(shè)置等操作

2022-11-28 00:06:12

cloudera CDH 大數(shù)據(jù)

CDH5部署三部曲之一：準(zhǔn)備工作

CDH5部署前的準(zhǔn)備工作，包括系統(tǒng)設(shè)置、安裝文件下載等

2022-11-27 14:15:11

cloudera java cdh

Hudi Upsert原理

2022-11-24 10:07:15

數(shù)據(jù)加載 spark

Hadoop總結(jié)——Hadoop基礎(chǔ)

Hadoop基礎(chǔ)

2022-11-06 15:26:12

hadoop 數(shù)據(jù)mapreduce

【W(wǎng)eb開發(fā)】Python實(shí)現(xiàn)Web儀表盤功能（Grafana）

Grafana是一個(gè)開源的，擁有豐富dashboard和圖表編輯的指標(biāo)分析平臺(tái)，

2022-11-05 22:38:55

python web server grafana

字節(jié)跳動(dòng)開源數(shù)據(jù)集成引擎 BitSail 的演進(jìn)歷程與能力解析

導(dǎo)讀BitSail 是字節(jié)跳動(dòng)開源數(shù)據(jù)集成引擎，支持多種異構(gòu)數(shù)據(jù)源間的數(shù)據(jù)同步，并提供離線、實(shí)時(shí)、全量、增量場(chǎng)景下全域數(shù)據(jù)集成解決方案，目前支撐了字節(jié)內(nèi)部和火山引擎多個(gè)客戶的數(shù)據(jù)集成需求。經(jīng)過(guò)字節(jié)跳動(dòng)各大業(yè)務(wù)線海量數(shù)據(jù)的考驗(yàn)，在性能、穩(wěn)定性上得到較好驗(yàn)證。10 月 26 日，字節(jié)跳動(dòng)宣布 BitSail 項(xiàng)目正式在 GitHub 開源，為更多的企業(yè)和開發(fā)者帶來(lái)便利，降低數(shù)據(jù)建設(shè)的成本，讓數(shù)據(jù)高效地

2022-11-03 11:51:33

數(shù)據(jù)flink 數(shù)據(jù)集成

SQL進(jìn)階篇之函數(shù)

SQL 擁有很多可用于計(jì)數(shù)和計(jì)算的內(nèi)建函數(shù)，他們可以讓數(shù)據(jù)統(tǒng)計(jì)工作更加便利

2022-10-21 00:40:10

sql 結(jié)果集函數(shù)返回

SQL進(jìn)階篇之高級(jí)應(yīng)用

在實(shí)際的數(shù)據(jù)庫(kù)使用中，除了CRUD，還有很多高級(jí)應(yīng)用值得學(xué)習(xí)和掌握，能夠在平時(shí)的工作中得到很多便利

2022-10-19 04:15:11

sql 數(shù)據(jù)類型結(jié)果集

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過(guò)，面試題已配答案

阿里云大數(shù)據(jù)開發(fā)一面面經(jīng)，已過(guò)，面試題已配答案

2022-10-18 12:25:24

spark hadoop 大數(shù)據(jù)開發(fā)面試題

Spark常規(guī)性能調(diào)優(yōu)（一）

1、常規(guī)性能調(diào)優(yōu)一：最優(yōu)資源配置Spark性能調(diào)優(yōu)的第一步，就是為任務(wù)分配更多的資源，在一定范圍內(nèi)，增加資源的分配與性能的提升是成正比的，實(shí)現(xiàn)了最優(yōu)的資源配置后，在此基礎(chǔ)上再考慮進(jìn)行后面論述的性能調(diào)優(yōu)策略。資源的分配在使用腳本提交Spark任務(wù)時(shí)進(jìn)行指定，標(biāo)準(zhǔn)的Spark任務(wù)提交腳本如代碼清單所示/usr/opt/modules/spark/bin/spark-submit \ --c

2022-10-15 22:13:15

spark 數(shù)據(jù)持久化

SQL進(jìn)階篇之多表聯(lián)查

在實(shí)際開發(fā)過(guò)程中，隨著產(chǎn)品迭代，多表聯(lián)查無(wú)法避免

2022-10-14 17:31:43

sql 結(jié)果集主鍵

SQL進(jìn)階篇之約束(Constraints)

約束用于限制加入表的數(shù)據(jù)的類型，可以在創(chuàng)建表時(shí)規(guī)定約束(通過(guò) CREATE TABLE 語(yǔ)句)，或者在表創(chuàng)建之后也可以(通過(guò) ALTER TABLE 語(yǔ)句)

2022-10-14 15:17:40

sql oracle mysql

Spark常見數(shù)據(jù)傾斜情況及調(diào)優(yōu)方案

1、數(shù)據(jù)傾斜Spark中的數(shù)據(jù)傾斜問(wèn)題主要指shuffle過(guò)程中出現(xiàn)的數(shù)據(jù)傾斜問(wèn)題，是由于不同的key對(duì)應(yīng)的數(shù)據(jù)量不同導(dǎo)致的不同task所處理的數(shù)據(jù)量不同的問(wèn)題例如，reduce點(diǎn)一共要處理100萬(wàn)條數(shù)據(jù)，第一個(gè)和第二個(gè)task分別被分配到了1萬(wàn)條數(shù)據(jù)，計(jì)算5分鐘內(nèi)完成，第三個(gè)task分配到了98萬(wàn)數(shù)據(jù)，此時(shí)第三個(gè)task可能需要10個(gè)小時(shí)完成，這使得整個(gè)Spark作業(yè)需要10個(gè)小時(shí)才能運(yùn)行完成，

2022-10-14 12:01:57

數(shù)據(jù)傾斜數(shù)據(jù)spark

Spark Troubleshooting

1、故障排除一：控制reduce端緩沖大小以避免OOM在Shuffle過(guò)程，reduce端task并不是等到map端task將其數(shù)據(jù)全部寫入磁盤后再去拉取，而是map端寫一點(diǎn)數(shù)據(jù)，reduce端task就會(huì)拉取一小部分?jǐn)?shù)據(jù)，然后立即進(jìn)行后面的聚合、算子函數(shù)的使用等操作reduce端task能夠拉取多少數(shù)據(jù)，由reduce拉取數(shù)據(jù)的緩沖區(qū)buffer來(lái)決定，因?yàn)槔∵^(guò)來(lái)的數(shù)據(jù)都是先放在buffer中

2022-10-13 00:28:55

數(shù)據(jù)spark 故障排除

使用Hadoop patch包修復(fù)的一次經(jīng)歷

原因：因?yàn)楣镜钠脚_(tái)的數(shù)據(jù)量在30P左右，使用了Hadoop3.1.2的版本，而且使用的糾刪碼功能，報(bào)錯(cuò)信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

2022-10-11 18:02:20

hadoop hdfs java

【設(shè)計(jì)模式】【第五章】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

【設(shè)計(jì)模式】【開具增值稅發(fā)票】【建造者模式 + 原型模式】

2022-10-03 10:51:09

設(shè)計(jì)模式建造者模式原型模式

字節(jié)跳動(dòng)基于Doris的湖倉(cāng)分析探索實(shí)踐

更多技術(shù)交流、求職機(jī)會(huì)，歡迎關(guān)注字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)微信公眾號(hào)，回復(fù)【1】進(jìn)入官方交流群Doris簡(jiǎn)介Doris是一種MPP架構(gòu)的分析型數(shù)據(jù)庫(kù)，主要面向多維分析，數(shù)據(jù)報(bào)表，用戶畫像分析等場(chǎng)景。自帶分析引擎和存儲(chǔ)引擎，支持向量化執(zhí)行引擎，不依賴其他組件，兼容MySQL協(xié)議。Apache Doris具備以下幾個(gè)特點(diǎn)：良好的架構(gòu)設(shè)計(jì)，支持高并發(fā)低延時(shí)的查詢服務(wù)，支持高吞吐量的交互式分析。多FE均可對(duì)外提供服

2022-09-29 15:01:03

Presto安裝集成kerberos

解壓presto-server包tar -zxvf presto-server-0.276.tar.gz件目錄結(jié)構(gòu)如下drwxr-xr-x 3 rong rong 4096 Mar 29 10:29 bindrwxrwxr-x 2 rong rong 12288 Mar 29 09:54 lib-rw-r--r-- 1 rong rong 191539 Mar 5...

2022-09-27 06:12:38

hive hadoop hdfs

開源交流丨一站式大數(shù)據(jù)平臺(tái)運(yùn)維管家ChengYing安裝原理剖析

本期我們帶大家回顧一下漫路同學(xué)的直播分享《ChengYing 安裝原理剖析》。本期內(nèi)容多為實(shí)戰(zhàn)演示，歡迎有興趣的同學(xué)去 B 站配合視頻觀看，便于理解。一、ChengYing 安裝原理ChengYing 安裝主要分為下面八個(gè)模塊的內(nèi)容，下面為大家介紹一下每個(gè)模塊主要能做的事情：1、主機(jī)編排一個(gè)組件包里面有很多服務(wù)，指定服務(wù)安裝到哪些主機(jī)。2、沖突校驗(yàn)根據(jù)組件包之間的依賴關(guān)系，校驗(yàn)編排結(jié)果是否符合部署

2022-09-09 14:17:36

自定義配置信息配置文件

終于有人把不同標(biāo)簽的加工內(nèi)容與落庫(kù)講明白了丨DTVision分析洞察篇

上一篇文章詳細(xì)給大家介紹了標(biāo)簽的設(shè)計(jì)與加工，在標(biāo)簽生命周期流程中，標(biāo)簽體系設(shè)計(jì)完成后，便進(jìn)入標(biāo)簽加工與上線運(yùn)行階段，一般來(lái)說(shuō)數(shù)據(jù)開發(fā)團(tuán)隊(duì)會(huì)主導(dǎo)此過(guò)程，但我們需要關(guān)心以下幾個(gè)問(wèn)題：?標(biāo)簽如何快速創(chuàng)建和實(shí)現(xiàn)標(biāo)簽邏輯的在線化管理?業(yè)務(wù)人員怎么參與到標(biāo)簽建設(shè)流程中?百萬(wàn)級(jí)別的標(biāo)簽如何落表一、加工方式：傳統(tǒng) VS 在線當(dāng)企業(yè)無(wú)標(biāo)簽系統(tǒng)時(shí)，一般由數(shù)據(jù)開發(fā)在離線數(shù)倉(cāng)中完成標(biāo)簽的加工和運(yùn)行，運(yùn)營(yíng)或市場(chǎng)同學(xué)需要某個(gè)

2022-09-08 16:39:42

數(shù)據(jù)sql hive

Spark面試題——Spark容錯(cuò)機(jī)制

問(wèn)過(guò)的一些公司：頭條，字節(jié)，阿里 x 3，騰訊，競(jìng)技世界參考答案：1、容錯(cuò)方式容錯(cuò)指的是一個(gè)系統(tǒng)在部分模塊出現(xiàn)故障時(shí)還能否持續(xù)的對(duì)外提供服務(wù)，一個(gè)高可用的系統(tǒng)應(yīng)該具有很高的容錯(cuò)性；對(duì)于一個(gè)大的集群系統(tǒng)來(lái)說(shuō)，機(jī)器故障、網(wǎng)絡(luò)異常等都是很常見的，Spark這樣的大型分布式計(jì)算集群提供了很多的容錯(cuò)機(jī)制來(lái)提高整個(gè)系統(tǒng)的可用性。一般來(lái)說(shuō)，分布式數(shù)據(jù)集的容錯(cuò)性有兩種方式：數(shù)據(jù)檢查點(diǎn)和記錄數(shù)據(jù)的更新。面向大規(guī)模

2022-09-04 09:33:19

大數(shù)據(jù)大數(shù)據(jù)開發(fā)面試題

Hadoop總結(jié)

一、Hadoop是什么？Hadoop是一個(gè)Apache基金會(huì)所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。在工業(yè)界，Hadoop已經(jīng)是公認(rèn)的大數(shù)據(jù)通用存儲(chǔ)和分析平臺(tái)，它實(shí)現(xiàn)了分布式文件系統(tǒng)HDFS（?Hadoop Distributed File System）、分布式運(yùn)行程序編程框架MapReduce以及資源管理系統(tǒng)YARN（ Yet Another Resource Negotiator），其中HDF

2022-09-02 20:13:59

mapreduce hadoop 大數(shù)據(jù)

（1）sparkstreaming結(jié)合sparksql讀取socket實(shí)時(shí)數(shù)據(jù)流

Spark Streaming是構(gòu)建在Spark Core的RDD基礎(chǔ)之上的，與此同時(shí)Spark Streaming引入了一個(gè)新的概念：DStream（Discretized Stream，離散化數(shù)據(jù)流)，表示連續(xù)不斷的數(shù)據(jù)流。DStream抽象是Spark Streaming的流處理模型，在內(nèi)部實(shí)現(xiàn)上，Spark Streaming會(huì)對(duì)輸入數(shù)據(jù)按照時(shí)間間隔（如1秒）分段，每一段數(shù)據(jù)轉(zhuǎn)換為Spar

2022-08-31 11:56:08

spark java spark sql

docker下的spark集群，調(diào)整參數(shù)榨干硬件

調(diào)整docker-compose編排的參數(shù)，充分發(fā)揮硬件信息能運(yùn)行spark集群

2022-08-20 00:04:03

hadoop spark docker

spark實(shí)戰(zhàn)之：分析維基百科網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)(java版)

在《尋找海量數(shù)據(jù)集用于大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)(維基百科網(wǎng)站統(tǒng)計(jì)數(shù)據(jù))》一文中，我們了解了如何獲取維基百科網(wǎng)站的網(wǎng)頁(yè)點(diǎn)擊量統(tǒng)計(jì)數(shù)據(jù)，并且介紹了數(shù)據(jù)格式的基本內(nèi)容，本文以這些數(shù)據(jù)進(jìn)行實(shí)戰(zhàn)，練習(xí)基本的spark開發(fā)

2022-08-19 00:08:03

spark hadoop java

docker下，極速搭建spark集群(含hdfs集群)

搭建spark和hdfs的集群環(huán)境會(huì)消耗一些時(shí)間和精力，今天咱們就借助docker，極速搭建和體驗(yàn)spark和hdfs的集群環(huán)境

2022-08-17 00:04:38

spark docker hdfs

第一個(gè)spark應(yīng)用開發(fā)詳解(java版)

java版的spark應(yīng)用開發(fā)

2022-08-12 07:13:26

spark java hdfs

領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)系列貧血模型和充血模型

使用領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)至少會(huì)帶來(lái)下述優(yōu)點(diǎn)：業(yè)務(wù)邏輯被合理的分散到不同的領(lǐng)域?qū)ο笾校a結(jié)構(gòu)更加清晰，可讀性，可維護(hù)性更高；對(duì)象職責(zé)更加單一，內(nèi)聚度更高；復(fù)雜的業(yè)務(wù)模型可以通過(guò)領(lǐng)域建模（UML是一種主要方式）清晰的表達(dá)，開發(fā)人員甚至可以在不讀源碼的情況下就能了解業(yè)務(wù)和系統(tǒng)結(jié)構(gòu)，這有利于對(duì)現(xiàn)存的系統(tǒng)進(jìn)行維護(hù)和迭代開發(fā)；系統(tǒng)高度模塊化，代碼重用度高，不會(huì)出現(xiàn)太多的重復(fù)邏輯。

2022-08-08 13:49:11

事件流 java 迭代

MMA安裝及使用優(yōu)化

公司自建的hdfs集群，后期使用阿里的Maxcompute，就需要遷移數(shù)據(jù)到新環(huán)境中，阿里提供眾多的遷移方案，在經(jīng)過(guò)我們的實(shí)踐后，最終選擇了MMA，遷移數(shù)據(jù)Hive到Maxcompute。

2022-08-03 13:41:40

hive hdfs 數(shù)據(jù)遷移

一文看懂大數(shù)據(jù)生態(tài)圈完整知識(shí)體系【大數(shù)據(jù)技術(shù)及架構(gòu)圖解實(shí)戰(zhàn)派】

一文看懂大數(shù)據(jù)生態(tài)圈完整知識(shí)體系徐葳隨著大數(shù)據(jù)行業(yè)的發(fā)展，大數(shù)據(jù)生態(tài)圈中相關(guān)的技術(shù)也在一直迭代進(jìn)步，作者有幸親身經(jīng)歷了國(guó)內(nèi)大數(shù)據(jù)行業(yè)從零到一的發(fā)展歷程，通過(guò)本文希望能夠幫助大家快速構(gòu)建大數(shù)據(jù)生態(tài)圈完整知識(shí)體系。目前大數(shù)據(jù)生態(tài)圈中的核心技術(shù)總結(jié)下來(lái)如圖1所示，分為以下9類，下面分別介紹。圖1 一、數(shù)據(jù)采集技術(shù)框架數(shù)據(jù)采集也被稱為數(shù)據(jù)同步。隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)的興起，產(chǎn)生了海

2022-08-03 11:28:08

數(shù)據(jù)大數(shù)據(jù)技術(shù)框架

推薦系統(tǒng)-協(xié)同過(guò)濾在Spark中的實(shí)現(xiàn)

本文以經(jīng)典的協(xié)同過(guò)濾為切入點(diǎn)，重點(diǎn)介紹了被工業(yè)界廣泛使用的矩陣分解算法，從理論與實(shí)踐兩個(gè)維度介紹了該算法的原理，通俗易懂，希望能夠給大家?guī)?lái)一些啟發(fā)。

2022-07-25 09:33:44

spark 協(xié)同過(guò)濾推薦系統(tǒng)

大數(shù)據(jù)Hadoop之——任務(wù)調(diào)度器Oozie（Oozie環(huán)境部署）

Oozie是一個(gè)基于工作流引擎的開源框架，依賴于MapReduce來(lái)實(shí)現(xiàn)，是一個(gè)管理 Apache Hadoop 作業(yè)的工作流調(diào)度系統(tǒng)。是由Cloudera公司貢獻(xiàn)給Apache的，它能夠提供對(duì)Hadoop MapReduce和Pig Jobs的任務(wù)調(diào)度與協(xié)調(diào)。Oozie需要部署到Java Servlet容器中運(yùn)行。

2022-07-16 19:01:00

大數(shù)據(jù)Oozie

大數(shù)據(jù)Hadoop之——Cloudera Hadoop（CM 6.3.1+CDH 6.3.2環(huán)境部署）

在眾多 Hadoop 版本中， CDH（Cloudera Hadoop）是 Hadoop 眾多分支中比較出色的版本，它由Cloudera 發(fā)行和維護(hù)。CDH 基于 Apache 的 Hadoop 進(jìn)行重新構(gòu)建，提供了基于 Web 頁(yè)面的群集部署和管理操作。Hadoop發(fā)行版除了社區(qū)的Apache hadoop外，Cloudera Hadoop（CDH）、Hortonworks、MapR、EMC、IBM、INTEL、華為等都提供自己的商業(yè)版本。

2022-07-08 23:38:26

hadoop CDH 大數(shù)據(jù)

基于Spark+Grafana可視化電商項(xiàng)目實(shí)戰(zhàn)，好文收藏~

原創(chuàng)肝文！基于Spark+Grafana可視化電商項(xiàng)目實(shí)戰(zhàn)

2022-05-25 14:30:24

spark sql 數(shù)據(jù)分析

1 2 3 4 5 下一頁(yè)

點(diǎn)贊

51CTO技術(shù)棧公眾號(hào)

業(yè)務(wù)
速覽

媒體

51CTO CIOAge HC3i

社區(qū)

51CTO博客鴻蒙開發(fā)者社區(qū) AI.x社區(qū)

教育

51CTO學(xué)堂精培企業(yè)培訓(xùn) CTO訓(xùn)練營(yíng)

主站蜘蛛池模板：国产成人精品午夜视频免费 | www.久久 | 久久久91精品国产一区二区三区 | 国产精品久久久久久久久婷婷 | 午夜精品久久久久久久99黑人 | 欧美成人二区 | 成人美女免费网站视频 | av激情在线 | 一区二区国产精品 | 亚洲精品国产一区 | 日韩精品成人 | 天天插天天操 | 欧美福利 | 在线观看中文字幕亚洲 | 中文字幕一区二区三区精彩视频 | 夜久久| 国产精品一区二区av | 91xxx在线观看 | 精品中文字幕视频 | av中文网| 欧美a级成人淫片免费看 | 日韩视频91| 黄色精品视频网站 | 久久精品亚洲一区 | 久久激情视频 | 免费成人在线网站 | 亚洲精品综合精品自拍 | 红桃视频一区二区三区免费 | 国产a一区二区 | 中文字幕一级 | 日韩在线视频一区 | 日韩中文一区 | 国产精品久久久久久久白浊 | 五月天国产 | 久久天堂 | 欧美精品欧美精品系列 | 九九精品在线 | 国产aa| 成人动漫视频网站 | 国产一区二区视频在线 | 五月综合激情网 |

<abbr id="saqyy"></abbr>

<noframes id="saqyy"></noframes>

<noframes id="saqyy"><noscript id="saqyy"></noscript></noframes>

<abbr id="saqyy"><dl id="saqyy"></dl></abbr>