軟件工程師的關(guān)鍵原則-18個系統(tǒng)設(shè)計概念
圖片
要在系統(tǒng)設(shè)計中脫穎而出,深刻理解諸如負載均衡、緩存、分區(qū)、復制、數(shù)據(jù)庫和代理等基本系統(tǒng)設(shè)計概念至關(guān)重要。
在掌握這個主模板的基礎(chǔ)上,我們將討論18個重要的系統(tǒng)設(shè)計概念。以下是每個概念的簡要描述:
1. 域名系統(tǒng) (DNS)
域名系統(tǒng)(DNS)是互聯(lián)網(wǎng)基礎(chǔ)設(shè)施的一個基本組成部分,將用戶友好的域名轉(zhuǎn)換為其相應(yīng)的IP地址。它充當了互聯(lián)網(wǎng)的電話簿,允許用戶通過輸入易于記憶的域名而不是計算機用于識別彼此的數(shù)值IP地址(如“192.0.2.1”)來訪問網(wǎng)站和服務(wù)。
當您在Web瀏覽器中輸入域名時,DNS負責查找相關(guān)的IP地址并將您的請求發(fā)送到適當?shù)姆?wù)器。這個過程從您的計算機向遞歸解析器發(fā)送查詢開始,然后遞歸解析器搜索一系列DNS服務(wù)器,從根服務(wù)器開始,然后是頂級域(TLD)服務(wù)器,最終是權(quán)威域名服務(wù)器。一旦找到IP地址,遞歸解析器將其返回給您的計算機,允許您的瀏覽器與目標服務(wù)器建立連接并訪問所需的內(nèi)容。
2. 負載均衡器
負載均衡器是一種用于分發(fā)入站網(wǎng)絡(luò)流量到多個服務(wù)器的網(wǎng)絡(luò)設(shè)備或軟件,以確保最佳資源利用、降低延遲并保持高可用性。在出現(xiàn)突發(fā)流量或服務(wù)器請求不均勻分布的情況下,負載均衡器在擴展應(yīng)用程序和有效管理服務(wù)器工作負載方面發(fā)揮著至關(guān)重要的作用。
負載均衡器使用各種算法來確定入站流量的分發(fā)。一些常見的算法包括:
- 輪詢算法: 請求按順序和均勻地分配到所有可用服務(wù)器。
- 最少連接算法: 負載均衡器將請求分配給具有最少活動連接的服務(wù)器,為較不繁忙的服務(wù)器提供優(yōu)先。
- IP哈希算法: 客戶端的IP地址被哈希,生成的值用于確定請求應(yīng)該被定向到哪個服務(wù)器。這種方法確保特定客戶端的請求一直路由到相同的服務(wù)器,有助于維護會話一致性。
3. API 網(wǎng)關(guān)
API網(wǎng)關(guān)是一種充當外部客戶端與應(yīng)用程序的內(nèi)部微服務(wù)或基于API的后端服務(wù)之間中間件的服務(wù)器或服務(wù)。它是當今體
系結(jié)構(gòu)的重要組件,特別是在基于微服務(wù)的系統(tǒng)中,它簡化了通信過程,為客戶端提供訪問各種服務(wù)的單一入口點。
API網(wǎng)關(guān)的主要功能包括:
- 請求路由:API網(wǎng)關(guān)根據(jù)預定義的規(guī)則和配置,將來自客戶端的傳入API請求路由到適當?shù)暮蠖朔?wù)或微服務(wù)。
- 身份驗證和授權(quán):API網(wǎng)關(guān)管理用戶身份驗證和授權(quán),確保只有經(jīng)授權(quán)的客戶端才能訪問服務(wù)。它在將請求路由到后端服務(wù)之前驗證API密鑰、令牌或其他憑證。
- 速率限制和節(jié)流:為了保護后端服務(wù)免受過大的負荷或濫用,API網(wǎng)關(guān)根據(jù)預定義的策略對客戶端的請求進行速率限制或節(jié)流。
- 緩存:為了降低延遲和后端負載,API網(wǎng)關(guān)緩存經(jīng)常使用的響應(yīng),直接提供給客戶端,無需查詢后端服務(wù)。
- 請求和響應(yīng)轉(zhuǎn)換:API網(wǎng)關(guān)可以修改請求和響應(yīng),例如轉(zhuǎn)換數(shù)據(jù)格式、添加或刪除標頭,或更改查詢參數(shù),以確保客戶端和服務(wù)之間的兼容性。
4. 內(nèi)容交付網(wǎng)絡(luò) (CDN)
內(nèi)容交付網(wǎng)絡(luò)(CDN)是一個分布式服務(wù)器網(wǎng)絡(luò),用于存儲和傳遞內(nèi)容,如圖像、視頻、樣式表和腳本,以使用戶可以從地理位置更接近他們的位置訪問這些內(nèi)容。CDN旨在提高內(nèi)容傳遞的性能、速度和可靠性,無論用戶相對于原始服務(wù)器的位置如何。以下是CDN的運作方式:
- 當用戶從網(wǎng)站或應(yīng)用程序請求內(nèi)容時,請求被定向到最近的CDN服務(wù)器,也稱為邊緣服務(wù)器。
- 如果邊緣服務(wù)器已經(jīng)緩存了請求的內(nèi)容,它將直接向用戶提供內(nèi)容。這個過程減少了延遲并提高了用戶體驗,因為內(nèi)容傳輸?shù)木嚯x更短。
- 如果邊緣服務(wù)器沒有緩存請求的內(nèi)容,CDN將從原始服務(wù)器或附近的另一個CDN服務(wù)器檢索內(nèi)容。一旦內(nèi)容被獲取,它將被緩存在邊緣服務(wù)器上并提供給用戶。
- 為了確保內(nèi)容保持最新,CDN定期檢查原始服務(wù)器以獲取更改,并相應(yīng)地更新其緩存。
5. 正向代理與反向代理
正向代理,也稱為“代理服務(wù)器”或簡稱“代理”,是位于一個或多個客戶機之前的服務(wù)器,充當客戶機和互聯(lián)網(wǎng)之間的中介。當客戶機請求互聯(lián)網(wǎng)上的資源時,請求首先發(fā)送到正向代理。正向代理然后代表客戶機將請求發(fā)送到互聯(lián)網(wǎng),然后將響應(yīng)返回給客戶機。
另一方面,反向代理是位于一個或多個Web服務(wù)器之前的服務(wù)器,充當Web服務(wù)器和互聯(lián)網(wǎng)之間的中介。當客戶端請求互聯(lián)網(wǎng)上的資源時,請求首先發(fā)送到反向代理。反向代理然后將請求轉(zhuǎn)發(fā)到其中一個Web服務(wù)器,然后將響應(yīng)返回給客戶端。
6. 緩存
緩存是位于應(yīng)用程序和原始數(shù)據(jù)源(如數(shù)據(jù)庫、文件系統(tǒng)或遠程Web服務(wù))之間的高速存儲層。當應(yīng)用程序請求數(shù)據(jù)時,首先檢查緩存。如果數(shù)據(jù)存在于緩存中,將返回給應(yīng)用程序。如果在緩存中找不到數(shù)據(jù),則從其原始來源檢索數(shù)據(jù),將其存儲在緩存中以備將來使用,然后返回給應(yīng)用程序。在分布式系統(tǒng)中,緩存可以出現(xiàn)在多個位置,包括客戶端、DNS、CDN、負載均衡器、API網(wǎng)關(guān)、服務(wù)器、數(shù)據(jù)庫等等。
7. 數(shù)據(jù)分區(qū)
在數(shù)據(jù)庫中,水平分區(qū),通常稱為分片,涉及將表的行分成較小的表,并存儲在不同的服務(wù)器或數(shù)據(jù)庫實例上。這種方法用于在多個服務(wù)器之間分發(fā)數(shù)據(jù)庫負載,從而提高性能。
相反,垂直分區(qū)涉及將表的列分成單獨的表。這個技術(shù)旨在減少表中的列數(shù),提高只訪問有限數(shù)量列的查詢性能。
8. 數(shù)據(jù)庫復制
數(shù)據(jù)庫復制是一種用于在不同服務(wù)器或位置之間維護相同數(shù)據(jù)庫的方法。數(shù)據(jù)庫復制的主要目標是增加數(shù)據(jù)的可用性、冗余和容錯性,以確保系統(tǒng)即使在硬件故障或其他問題出現(xiàn)時仍然可以正常運行。
在復制數(shù)據(jù)庫配置中,一個服務(wù)器充當主數(shù)據(jù)庫,而其他服務(wù)器則充當副本。這涉及在主數(shù)據(jù)庫和副本之間同步數(shù)據(jù),以確保它們都具有相同的最新信息。數(shù)據(jù)庫復制提供了多個優(yōu)點,包括:
- 改進性能:通過在多個副本之間分發(fā)讀查詢,可以減輕主數(shù)據(jù)庫的負載,從而提高查詢響應(yīng)時間。
- 高可用性:如果主數(shù)據(jù)庫發(fā)生故障或停機,副本可以繼續(xù)提供數(shù)據(jù),確保對應(yīng)用程序的不間斷訪問。
- 增強的數(shù)據(jù)保護:在不同位置維護數(shù)據(jù)庫的多個副本有助于防止由于硬件故障或其他災(zāi)難而導致的數(shù)據(jù)丟失。
- 負載平衡:副本可以處理讀查詢,從而實現(xiàn)更好的負載分配并減輕主數(shù)據(jù)庫的整體壓力。
9. 分布式消息系統(tǒng)
分布式消息系統(tǒng)為多個可能分布在不同地理位置的應(yīng)用程序、服務(wù)或組件之間交換消息提供了可靠、可擴展和容錯的方式。這些系統(tǒng)通過解耦發(fā)送方和接收方組件,使它們能夠獨立開發(fā)和運行。分布式消息系統(tǒng)在大型或復雜系統(tǒng)中尤其有價值,比如微服務(wù)架構(gòu)或分布式計算環(huán)境中。這些系統(tǒng)的示例包括Apache Kafka和RabbitMQ。
10. 微服務(wù)
微服務(wù)代表一種架構(gòu)風格,其中一個應(yīng)用程序被組織成一組小型、松散耦合的、可以獨立部署的服務(wù)。每個微服務(wù)負責應(yīng)用程序內(nèi)的特定功能或領(lǐng)域,并通過明確定義的API與其他微服務(wù)通信。這種方法不同于傳統(tǒng)的單體架構(gòu),傳統(tǒng)單體架構(gòu)將應(yīng)用程序構(gòu)建為單一、緊密耦合的單元。
微服務(wù)的主要特點包括:
- 獨立部署:每個微服務(wù)可以獨立開發(fā)、測試和部署,無需影響其他微服務(wù)。
- 技術(shù)多樣性:每個微服務(wù)可以使用不同的技術(shù)棧,以滿足其特定需求。
- 易于維護:由于微服務(wù)的規(guī)模較小,它們通常更易于維護、擴展和修改。
- 可擴展性:可以根據(jù)需要擴展單獨的微服務(wù),而無需為整個應(yīng)用程序進行擴展。
11. 數(shù)據(jù)庫
數(shù)據(jù)庫是一種結(jié)構(gòu)化數(shù)據(jù)的持久存儲系統(tǒng),用于存儲、檢索和管理數(shù)據(jù)。數(shù)據(jù)庫在各種應(yīng)用程序和系統(tǒng)中都有廣泛的應(yīng)用,從基本的數(shù)據(jù)存儲到復雜的分析和報告系統(tǒng)。主要的數(shù)據(jù)庫類型包括:
- 關(guān)系型數(shù)據(jù)庫(RDBMS): 使用表格結(jié)構(gòu)來存儲數(shù)據(jù),并支持SQL查詢語言。常見的關(guān)系型數(shù)據(jù)庫包括MySQL、PostgreSQL、Oracle和Microsoft SQL Server。
- NoSQL數(shù)據(jù)庫: 這些數(shù)據(jù)庫不使用傳統(tǒng)的表格結(jié)構(gòu),而使用文檔、列族、鍵值對或圖形等非關(guān)系數(shù)據(jù)結(jié)構(gòu)來存儲數(shù)據(jù)。NoSQL數(shù)據(jù)庫包括MongoDB、Cassandra、Redis和Elasticsearch。
- NewSQL數(shù)據(jù)庫: 這是一種中間方式,結(jié)合了關(guān)系數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫的某些特性。NewSQL數(shù)據(jù)庫旨在提供可擴展性、高性能和分布式能力。
12. 前端緩存
前端緩存是一種用于緩存Web應(yīng)用程序的用戶界面(HTML、CSS、JavaScript等)以提高性能的技術(shù)。前端緩存可以通過減少從服務(wù)器請求資源的次數(shù)、降低延遲并提供更快的用戶體驗來改進Web應(yīng)用程序的性能。前端緩存通常采用瀏覽器緩存、CDN和緩存服務(wù)等多種形式。
13. 后端緩存
后端緩存是一種用于緩存應(yīng)用程序的數(shù)據(jù)和計算結(jié)果以提高性能的技術(shù)。它將數(shù)據(jù)存儲在內(nèi)存中,以便將來更快地檢索。后端緩存通常用于存儲數(shù)據(jù)庫查詢結(jié)果、API響應(yīng)和計算密集型任務(wù)的結(jié)果。一些常見的后端緩存技術(shù)包括Redis和Memcached。
14. 安全性
安全性是系統(tǒng)設(shè)計中至關(guān)重要的概念。它包括身份驗證、授權(quán)、加密、跨站腳本(XSS)和跨站請求偽造(CSRF)防護、數(shù)據(jù)保護、網(wǎng)絡(luò)安全等。系統(tǒng)設(shè)計應(yīng)考慮各種威脅和安全攻擊,以確保系統(tǒng)的數(shù)據(jù)和用戶得到保護。
15. 高可用性與容錯性
高可用性和容錯性是系統(tǒng)設(shè)計的關(guān)鍵目標。高可用性涉及確保系統(tǒng)在面臨故障或中斷時保持可用。容錯性涉及系統(tǒng)在出現(xiàn)故障或錯誤時能夠恢復正常運行。實現(xiàn)高可用性和容錯性通常需要使用負載均衡、故障轉(zhuǎn)移、冗余和監(jiān)控等技術(shù)。
16. 事件驅(qū)動架構(gòu)
事件驅(qū)動架構(gòu)是一種應(yīng)用程序架構(gòu),其中應(yīng)用程序的不同組件通過事件進行通信。事件是應(yīng)用程序中發(fā)生的特定動作或狀態(tài)更改,可以觸發(fā)其他組件的響應(yīng)。事件驅(qū)動架構(gòu)通常用于實現(xiàn)松散耦合的組件,以便能夠更輕松地擴展和修改系統(tǒng)。
17. 日志和監(jiān)控
在系統(tǒng)設(shè)計中,日志和監(jiān)控是關(guān)鍵工具,用于識別和解決性能問題、故障和安全問題。日志記錄有助于跟蹤系統(tǒng)的操作和問題,而監(jiān)控則提供了實時的性能數(shù)據(jù)和警報。在分布式系統(tǒng)中,有效的日志和監(jiān)控可以幫助工程師快速診斷問題和優(yōu)化系統(tǒng)。
18. 測試策略
測試是系統(tǒng)設(shè)計和開發(fā)的關(guān)鍵組成部分。測試策略涉及確定測試范圍、創(chuàng)建測試計劃、編寫測試用例、執(zhí)行測試、自動化測試、性能測試等。有效的測試策略有助于確保系統(tǒng)的可靠性、性能和安全性。
這18個系統(tǒng)設(shè)計概念涵蓋了構(gòu)建可伸縮、高性能、高可用性和安全的系統(tǒng)所需的核心知識。