成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

OpenStack大數(shù)據(jù)項(xiàng)目 Sahara 概念和架構(gòu)

云計(jì)算 OpenStack
Sahara旨在為用戶提供簡(jiǎn)單部署Hadoop集群的能力,比如通過簡(jiǎn)單的配置:Hadoop版本、集群結(jié)構(gòu)、節(jié)點(diǎn)硬件信息等。在用戶提供了這些參數(shù)后,Sahara迅速把Hadoop集群部署起來。同時(shí)也支持集群的擴(kuò)容和減容。

Sahara旨在為用戶提供簡(jiǎn)單部署Hadoop集群的能力,比如通過簡(jiǎn)單的配置:Hadoop版本、集群結(jié)構(gòu)、節(jié)點(diǎn)硬件信息等。在用戶提供了這些參數(shù)后,Sahara迅速把Hadoop集群部署起來。同時(shí)也支持集群的擴(kuò)容和減容。

其應(yīng)用場(chǎng)景包括:

1) 提供在OpenStack上快速配置和部署Hadoop集群的能力。

2) 充分利用OpenStack Iaas層的計(jì)算能力。

3) 提供分析即服務(wù)的數(shù)據(jù)分析業(yè)務(wù),有點(diǎn)像亞馬遜的EMR。

Sahara主要的特性包括:

1) Sahara作為OpenStack的一個(gè)組件。

2) 通過OpenStack的Dashboard調(diào)用REST API來管理。

3) 支持不同的Hadoop版本

4) 可配置的Hadoop配置模板。

Sahara課OpenStack的Horizon(提供GUI)、Keystone(提供鑒權(quán)功能)、Nova(為了創(chuàng)建Hadoop集群虛擬機(jī))、Heat(Sahara可以配置成使用Heat來協(xié)調(diào)Hadoop集群所需要的服務(wù))、Glance(存放Hadoop虛擬機(jī)鏡像)、Swift(可以用于存放Hadoop任務(wù)處理的數(shù)據(jù))、Cinder(用于提供塊存儲(chǔ))、Neutron(提供網(wǎng)絡(luò)服務(wù))、Ceilometer(用于收集集群的信息來達(dá)到計(jì)量和監(jiān)控的目的)有交互。

主要的工作流程介紹:

常見的快速配置集群步驟如下:

1) 選擇Hadoop版本

2) 選擇鏡像(如果鏡像中沒有預(yù)安裝Hadoop,Sahara也支持通過可插入的部署引擎)

3) 設(shè)置集群的參數(shù):大小、拓?fù)涞取?/p>

4) 創(chuàng)建集群:Sahara會(huì)進(jìn)行虛擬機(jī)的安裝和Hadoop的配置。

5) 集群管理:包括添加或者刪除節(jié)點(diǎn)。

6) 刪除集群

通用的分析服務(wù)工作流程:

1) 選擇一個(gè)預(yù)定義的Hadoop版本

2) 編輯任務(wù)

a) 選擇任務(wù)類型:pig、hive、jar-file等

b) 提供任務(wù)的腳本地址或者jar包的位置

c) 選擇輸入輸出數(shù)據(jù)的位置

d) 選擇日志的位置

3) 設(shè)置集群的大小

4) 執(zhí)行任務(wù)

5) 獲取任務(wù)執(zhí)行結(jié)果

Sahara架構(gòu)包含一下幾個(gè)模塊:

鑒權(quán)模塊:負(fù)責(zé)鑒權(quán)和授權(quán),和keystone進(jìn)行交換。

DAL(Data Access Layer):和數(shù)據(jù)庫訪問相關(guān)。

供應(yīng)引擎(Provisioning Engine):用于和組件Nova, Heat, Cinder、Glance交換

供應(yīng)商插件:插件形式提供,用于在虛擬機(jī)上配置和啟動(dòng)Hadoop服務(wù)。已有的解決方案包括:Apache的Ambari和Cloudera(Hadoop數(shù)據(jù)管理軟件與服務(wù)提供商) Management Console。

EDP(Elastic Data Processing):負(fù)責(zé)調(diào)度和管理Sahara提供的Hadoop集群上的計(jì)算任務(wù)。

REST API:提供REST使用Sahara功能。

Sahara的Python客戶端:和OpenStack其他組件的CLI一樣。

Sahara的GUI頁面:Horizon上提供Sahara相關(guān)的GUI。

本文出自:http://blog.csdn.net/canxinghen/article/details/41833027

責(zé)任編輯:Ophira 來源: 華為杭州OpenStack團(tuán)隊(duì)
相關(guān)推薦

2016-03-21 18:56:54

物聯(lián)網(wǎng)IoTIT基礎(chǔ)架構(gòu)

2017-03-06 09:40:39

OpenStack SHadoopSpark

2014-08-15 09:09:32

大數(shù)據(jù)

2013-04-22 10:00:53

云計(jì)算大數(shù)據(jù)

2023-10-13 13:11:26

大數(shù)據(jù)技術(shù)開源

2018-04-15 21:39:04

大數(shù)據(jù)項(xiàng)目應(yīng)用

2019-05-23 09:50:46

大數(shù)據(jù)IT人工智能

2023-05-10 16:04:38

大數(shù)據(jù)架構(gòu)

2022-06-30 21:08:25

大數(shù)據(jù)數(shù)據(jù)湖數(shù)據(jù)倉庫

2014-12-10 10:59:16

Openstack云計(jì)算安裝部署

2016-01-26 10:02:18

GitHub大數(shù)據(jù)開源

2016-12-13 19:40:00

大數(shù)據(jù)

2017-01-20 09:08:28

大數(shù)據(jù)路線應(yīng)用

2013-07-26 10:24:32

大數(shù)據(jù)項(xiàng)目大數(shù)據(jù)IT

2017-03-14 15:43:39

大數(shù)據(jù)項(xiàng)目Hadoop

2017-12-11 11:48:56

大數(shù)據(jù)項(xiàng)目數(shù)據(jù)集成

2017-04-05 15:32:42

大數(shù)據(jù)項(xiàng)目問題

2018-04-02 10:58:28

大數(shù)據(jù)sqoop大數(shù)據(jù)項(xiàng)目

2018-04-11 09:50:04

大數(shù)據(jù)

2013-09-24 10:53:39

Gartner大數(shù)據(jù)項(xiàng)目
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 9色网站 | 亚洲小视频| 久久亚洲一区二区三区四区 | 亚洲综合在线播放 | 午夜激情在线视频 | 亚洲国产精久久久久久久 | 国产精品影视在线观看 | 久久之精品 | 91精品国产综合久久久久蜜臀 | 黄在线免费观看 | 91xh98hx 在线 国产 | 最新中文字幕第一页视频 | 男人天堂网址 | 亚洲欧美一区二区三区国产精品 | 一级黄色短片 | 中文字幕一区二区三区在线视频 | 久久国产电影 | 狠狠草视频 | 成人免费看电影 | 久久一二区 | 日本天堂视频在线观看 | 五月婷婷丁香 | 午夜视频在线 | 久久亚洲一区二区三区四区 | www.se91 | 中文字幕日韩欧美一区二区三区 | 日韩午夜影院 | 久久精品久久久久久 | 精品九九 | 国产日韩欧美在线观看 | 国产高清视频 | 国产精品亚洲视频 | 日韩成人精品在线观看 | 暖暖日本在线视频 | 日日摸日日碰夜夜爽2015电影 | 黄色网址在线播放 | 久久99精品国产 | 国产精品视频在线播放 | 综合久久亚洲 | 久久99精品国产麻豆婷婷 | 干干干操操操 |