成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

架構設計:一種遠程調用服務的設計構思(zookeeper的一種應用實踐)

移動開發 開發
遠程調用是系統與系統之間的通信機制,它的另一種理解就是進程間的通信。做分布式系統的開發,遠程調用技術是其核心技術。遠程調用技術可以將一組計算機系統形成一個網絡系統,對外提供整體服務,那么這一群的計算機系統就構成了一個更大型,性能更高的計算機系統。

在深入學習zookeeper我想先給大家介紹一個和zookeeper相關的應用實例,我把這個實例命名為遠程調用服務。通過對這種應用實例的描述,我們會對zookeeper應用場景會有深入的了解。

遠程調用是系統與系統之間的通信機制,它的另一種理解就是進程間的通信。做分布式系統的開發,遠程調用技術是其核心技術。遠程調用技術可以將一組計算機系統形成一個網絡系統,對外提供整體服務,那么這一群的計算機系統就構成了一個更大型,性能更高的計算機系統。

我在前面的博客里介紹了一種分布式網站的架構設計,其中就有一個使用netty技術編寫的組件作為前端系統和服務端系統通信的媒介。在一個大型的互聯網公司里會有很多這樣的網站系統,如果每一個網站都像我博客里所論述的進行開發,那么對于系統通信維護和管理,以及每個系統網絡資源的分配管理就會造成一定的問題,對于這樣的問題,我舉個例子可能大家會更明白些,比如一個互聯網公司有數個對外提供服務的網站,有的網站訪問量很大,有的相對較小,但是公司的寬帶資源是有限的,那么我們就希望動態的管理和分配這些資源,如果我們網站的通信功能和網站都是緊耦合的,那么調配這些資源的工作就會比較復雜和繁瑣,也很容易出問題。這樣的問題還會還有很多,我這里不做細致分析了。做軟件開發時候,有個原則,如果某個功能是可以通用的,該功能很需要統一管理時候,我們就應該把這個功能抽取成一個獨立的系統或組件,并且這個系統或組件賦予一些增強級的功能特性,這樣必定對整個系統的健壯性、可用性以及效率上有所提升。

而我在分布式網站里所描述的通信技術,就是遠程調用技術的一種,遠程調用技術就是客戶端和服務端的通信技術,它可以當做cs架構技術的一種,在java里有很多優秀的框架實現遠程調用,例如java自帶的RMI,spring自帶的Httpinvoker,webservice技術等等。但是現有的這些技術滿足不了互聯網公司的遠程調用需求,今天我將講述一套我自己構思的一套遠程調用技術,這個是借鑒了一些我們公司的類似軟件的做法。

該框架主要是針對java的,其他語言目前不能支持。首先我要總結遠程調用技術要包括那些技術,它們分別是:

  • 通信技術:遠程調用就是通過網絡技術將不同系統構成一個整體,因此通信技術是其重點,通信技術我這里選擇的是netty技術,Netty提供異步的、事件驅動的網絡應用程序框架和工具,用以快速開發高性能、高可靠性的網絡服務器和客戶端程序。Netty會讓我們開發通信程序變得簡單,高效,其效率也是非常好的,同時它還支持多種不同的網絡協議。
  • 序列化和反序列化技術:java的序列化技術是指將對象轉換為byte數據,這些數據可以被還原為java對象,這種還原的過程就是反序列化了,該機制可以自動處理不同操作系統之間的差異,例如window下序列化的對象,可以在linux上進行重新構建。Java的jdk里自帶了一個序列化和反序列化機制,熟悉hadoop的人知道hadoop設計了一套序列化和反序列化機制,為什么hadoop作者不選擇使用java自帶的序列化機制,這是因為java序列化機制非常復雜,復雜帶來效率低下,java的序列化機制還有一個重要的缺點就是它序列化的二進制數據會非常大,因為java序列化時候會附帶太多該對象的相關信息,過大的數據量就會影響網絡傳輸的效率,因此hadoop自己設計了一套序列化和反序列化機制,hadoop不同節點之間的通信也是一種遠程調用機制,因此我們發現好的序列化和反序列化技術對于遠程調用是相當重要的。我們公司的遠程調用框架序列化技術有兩種一種就是java自帶的序列化和反序列化機制,一種是hessian技術,它是一種更加高效的序列化和反序列化技術。
  • 壓縮技術:做網絡編程,最稀缺的資源就是寬帶資源,如果傳輸數據過大,那么對數據的壓縮就會顯得十分重要,這里我推薦一個壓縮技術snappy,它是一種高效的壓縮和解壓縮包,google公司內部廣泛使用的一種壓縮技術。
  • 高并發的技術:遠程調用技術一定會是多線程,只有這樣才能滿足多個并發的處理請求,java在1.5的版本里提供了一個Executor框架,它在線程開發里引入了任務的概念,使得多線程的程序開發會更加合理和可控,關于executor的技術大家可以看看一本經典的書籍《java并發編程實踐》。想讓線程更加有效率,池技術也是并不可少的,apache的common-pool是一個非常好的池技術,我們可以將線程都預先創建好,然后放入到common-pool池里進行管理。
  • 非侵入式:這個也可以叫做松耦合,對于java的web開發,最好的解耦方式就是使用spring技術,當我們系統里把遠程調用框架引入后,配置好相關的參數,我們可以把用于遠程調用的方法定義在spring的配置文件里,那么在程序里調用的時候,利用spring直接獲取這個bean,那么對于遠程調用的開發就和我們在action里調用server的方法沒啥區別了。下面是一段實例代碼:
    1. <!-- 服務提供者配置 --> 
    2. <bean id="serverProvider" class="cn.com.sharpxiajun.RmifSpringProviderBean"
    3.     <property name="interface" value="cn.com.ITest"></property><!-- 遠程調用的接口 --> 
    4.     <property name="target" ref="clsTest"></property><!-- clsTest實現ITest的實現類,clsTest這里是一個bean的id值 --> 
    5. </bean> 
    6.  
    7. <!-- 服務調用者配置 --> 
    8. <bean id="clientConsumer" class="cn.com.sharpxiajun.RmifSpringConsumerBean"
    9.     <property name="interface" value="cn.com.clsTest"></property><!-- value就是Provider定義的target的接口實現類 --> 
    10.     <property name="seriaType" value="hessian"></property><!--序列化方式  --> 
    11.     <property name="compress" value="true"></property><!-- 壓縮標記 --> 
    12. </bean> 
  • 負載均衡:分布式系統都離不開負載均衡,好的負載均衡可以充分利用好不同服務器的計算資源,提供系統的并發量和運算能力,對于網站而言(我們公司現在網站服務器不是太多)少于10臺服務器可以使用兩種策略:一種是簡單輪詢,比如有6臺服務端,我們會把第一個請求給第一臺服務器,第二個請求給第二臺,依次類推,等6臺循環完畢,又從第一臺開始;第二種是隨機方式,即使用random函數,當然更多的服務器我就不知道有什么輪詢機制比較好,希望有知道的童鞋可以給我推薦下。

我這里設計的遠程調用框架,除了以上的功能外,我希望它還能有心跳管理機制,超時管理機制,服務分級管理,就是根據服務的重要性或者系統的繁忙度可以調節網絡資源。

哈哈,講了這么久估計有童鞋可能有點煩了,不是說應用zookeeper的實例嗎?怎么還沒見到zookeeper的影子。別著急,zookeeper馬上就要上場了。

還是以我前面博客里寫分布式網站講起,服務端系統我們可以當做服務提供者,前端系統當做服務調用者,提供者可以類比商戶,調用者可以類比客戶,商戶和客戶可以直接進行交易,這種直接交易方式非常原始甚至還會有風險,現代社會商戶和客戶直接的交易十分高效,高效的原因是因為有一個規范的大市場,商戶和客戶的交易在市場里進行的,這樣交易會變得更加安全和高效,我設計的分布式框架最大的特點就是提供了一個類似市場的角色,它來管理服務提供者和服務調用者,我把這個功能模塊稱為遠程調用管理組件。

遠程調用管理組件是本框架的核心,它的主要作用是接收服務端提供者的注冊的通知,該通知一般是接口以及該接口的實現類還有服務器的ip地址,管理組件會將這些通知記錄下來,并且根據配置對這些服務程序進行分組和標記,注冊好的信息管理組件會將這些信息推送到服務調用者。遠程調用管理組件還包含心跳機制,這個心跳機制是針對服務提供者,通過心跳機制檢測服務提供者的健康狀況,管理組件不會檢測服務調用者的健康狀態,因為這個沒必要,因為本框架的使用還是調用者直接去請求提供者,邏輯上是沒必要關心調用者的狀態,這和bs架構里瀏覽器一樣,我們不會去關心瀏覽器用戶是不是存在。服務提供者、服務調用者和遠程調用管理組件的關系如下圖所示:

 

關系圖

遠程調用框架運行的過程是:當服務提供者啟動時候,它會將自己的ip地址和注冊的方法傳輸到遠程調用管理組件,管理組件接收到注冊信息會將這些信息存儲下來,存儲技術就是使用zookeeper,存儲成功后,管理組件會將成功通知傳回給服務提供者,同時管理組件還會通過心跳檢測服務提供者是否健康;當服務調用者啟動時候,它會向管理組件請求服務提供者信息,管理組件接收到請求后會將相關信息推送給服務調用者。在實際系統運行時候,服務調用者直接和服務提供者進行通信交互了,通信方式是netty,如果調用者和提供者有相關變化,都會先通知服務管理組件,服務管理組件會將相關變更信息推送給相應的系統。

遠程調用管理組件主要是通過zookeeper實現,zookeeper擁有一個層次的命名空間,它的模型是一個樹狀結構,樹狀結構是一個強大的數據類型,它幾乎能存儲所有不同的數據類型,我們通過zookeeper將這些信息保存起來,便于我們管理整個遠程調用框架,同時zookeeper還是高可靠的,這個我在前面zookeeper文章里講到了,這樣就保證了整個遠程調用框架的穩定性,實際應用中我們會將組件編譯成一個jar包,不同的項目直接引用這個jar包,這樣管理組件服務端和服務的提供者和調用者就聯系起來。至于提供者和調用者的通信機制是直接進行,因為我們將通信程序集成在jar包里,只不過相應的管理機制抽取到外部服務端進行統一管理。

這就是我設計的遠程調用框架,可惜的是,這個構思我還沒有真正實現過,今天拿出來是想體現zookeeper的實際應用,為我后面講解zookeeper做鋪墊,至于是否可行,看以后有沒有機會開發個類似的系統,到時估計還有很多意想不到的問題要解決。

(遠程調用服務的設計我參考了技術友人馬德鑫的設計,他曾是淘寶的技術架構師)

責任編輯:張子龍 來源: 博客園
相關推薦

2013-09-04 12:38:56

架構設計架構設計構思

2017-03-21 17:04:05

Android客戶端架構設計

2022-03-01 09:58:10

高并發架構開發

2012-12-25 10:48:35

IBMdW

2023-09-17 23:16:46

緩存數據庫

2020-12-23 10:10:23

Pythonweb代碼

2022-06-22 09:44:41

Python文件代碼

2022-07-07 10:33:27

Python姿勢代碼

2020-12-09 10:15:34

Pythonweb代碼

2020-05-06 11:29:29

UX設計釣魚攻擊用戶體驗

2022-09-27 08:04:37

Adapter?設計模式

2011-03-01 09:43:13

MapReduce架構

2023-05-11 07:30:10

KV存儲GC優化

2019-07-22 15:59:21

2015-12-18 16:15:55

架構新型計算模型

2009-12-11 10:30:31

2013-03-12 14:07:06

Java編程

2011-02-23 09:35:25

Eclipse遠程調試

2022-08-17 09:07:09

低代碼LCDP編碼

2023-07-03 19:40:21

系統設計模式
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 日韩在线资源 | 日韩av第一页 | 日本特黄a级高清免费大片 国产精品久久性 | 伊人网91 | 国产精品久久免费观看 | 国产精品一区二区三区四区 | 精品国产乱码久久久久久闺蜜 | 国产精品区二区三区日本 | 成人欧美一区二区三区白人 | 精品少妇一区二区三区在线播放 | 久久久久久国模大尺度人体 | 日韩在线观看视频一区 | 日韩爱爱网站 | 五月天婷婷丁香 | 国产午夜精品一区二区三区嫩草 | 国产精品久久久久久av公交车 | 国产精品久久国产精品 | 国产在线视频一区二区董小宛性色 | 91精品中文字幕一区二区三区 | 欧美一区二区免费 | 欧美日韩国产在线 | 国产精品成人一区二区三区 | 亚洲欧美日韩精品久久亚洲区 | 99久久久国产精品 | 免费黄篇| 一区二区三区视频在线观看 | 天天操网 | 国产亚洲久 | 国产欧美精品区一区二区三区 | 中文天堂在线一区 | 亚洲国产精品一区二区第一页 | 国产九九九 | 久久精品亚洲一区 | 综合一区| 99久久久久国产精品免费 | 亚洲精品91 | 老司机午夜性大片 | 国产黄色一级电影 | 蜜桃臀av一区二区三区 | 免费观看一级特黄欧美大片 | 免费一区二区三区 |