深入理解端口的本質、Node.js Socket 的本質
作為 web 工程師,我們每天都在和端口、socket 打交道,用的話可能很多人會用,但是問到它們的本質,可能能答出來的就很少了。
這篇文章,我們就來探究下端口和 socket 的本質。
端口
我們網絡是分層的,OSI 中分了 7 層,TCP/IP 簡化為 5 層或者 4 層。
網絡層主要是 IP 協議,是路由器相關的協議,它的作用是把數據從從一臺主機傳輸到另一臺主機。
那到了另一臺主機之后呢?每臺主機都有很多的進程,怎么知道交給哪個進程?這就是運輸層的 TCP、UDP 做的了。
如何定位一臺主機的進程呢?
直接指定進程 id 行么?比如 x.x.x.x:進程id 的形式。
這樣設計是可以,但是進程 id 是動態的,不固定,可能下次重啟某個服務進程,進程 id 就變了。所以還得繼續想。
那加一個中間層呢?計算機不是所以問題都可以加中間層解決么。數據不直接給進程,而是放到某段內存,這段內存叫做端口,進程就監聽這個端口的數據。
這樣就不需要固定進程 id 了,進程 bind 到這段內存(端口)就行,然后 listen 它的變化。
這樣不直接依賴具體實現,而是雙方都依賴抽象層的思想叫做 IOC( inverse of control 控制反轉)。
為什么叫做端口呢?因為硬件中也有端口這個概念,如圖:
硬件的端口是設備和外界通信的入口,軟件的端口也是一樣的定位,所以采用了端口的名字。
這樣,我們定位一個網絡上的進程,需要 IP + 端口 + 協議 就可以了,這是進程網絡地址的三要素,可以看到 TCP、IP 等協議是共同其作用的,所以叫做 TCP/IP 協議族。
端口的本質就是一段內存中的數據結構,我們可以通過監聽它的變化,當數據寫入的時候就能收到消息。
那么每個進程都要指定端口也太麻煩了吧,能不能統一什么協議就一定是什么端口,這樣只需要 協議 + ip 就可以訪問了,端口自動填上。
于是就有專門的機構去協調這些,這個機構叫做 IANA(The Internet Assigned Numbers Authority),互聯網數字分配機構。因為網絡不是中央集權的,需要一個中間機構去協調各方,這個機構就是做這件事情的,包括域名、端口、協議等。
端口是一個 16 位的二進制數,兩個字節,所以范圍是 0 到 65535 的整數,IANA 把它們分為了 3 段:
- 0 到 1023 是公認端口,把協議綁定到固定的端口,比如 HTTP 是 80,HTTPS 是 443 等。
- 1024 到 49151 是可注冊的端口,我們給進程綁定端口的時候就從這里面選。
- 49152 到 65535 是動態分配的端口,用于一些需要分配端口的進程,動態從這里面取。
通過固定協議的端口,我們定位一個網絡中的進程只需要 協議 + ip 就行了。當然,有的時候還是需要 協議 + ip + 端口來指定的。
socket
有了端口之后,我們就能定位到網絡中的進程,然后進行數據通信了。但是不同的協議的數據結構不同,也就是要做不同的操作,直接操作網絡傳過來的數據比較復雜,這件事應該操作系統來封裝一下。所以 POSIX 就定義了 socket 的標準 api,我們通過這些 api 就可以很方便的操作不同協議的數據。(關于 POSIX 可以可以看我這篇文章: Node.js 的 api 設計的源頭:POSIX)
socket 的 api 分為服務端和客戶端兩方面:
服務端:bind、listen、accept、read、write、close
客戶端:connet、write、read、close
POSIX 的思想是一切皆文件,所以網絡通信的 socket 的 api 也設計成了 read、write 的形式。
服務端通過 listen 來把進程綁定到端口,客戶端連接上服務端的某個端口,通過網絡把數據傳輸到該端口,之后進行數據的讀寫。
各種語言都對 socket api 做了封裝,Node.js 也不例外。
Node.js 中的 socket
Node.js 的文件讀寫是通過 stream 的,而 POSIX 把網絡操作 socket 也作為文件讀寫來處理,所以 Node.js 的 socket 也是 stream 形式的 api。
服務端 socket api:
- const net = require('net');
- const server = net.Server((socket) => {
- console.log('client connected');
- socket.on('data', (data) => {
- console.log(data.toString('UTF-8'))
- })
- socket.on('end', () => {
- console.log('client disconnected');
- });
- socket.write('hello\r\n');
- });
- server.on('error', (err) => {
- throw err;
- });
- server.listen(8124, () => {
- console.log('server bound');
- });
可以看到是通過 read、write 的形式,因為 Node.js 封裝成了 stream,所以監聽 data 事件。(關于 stream,可以看我這篇文章:徹底掌握 Node.js 四大流,解決爆緩沖區的“背壓”問題)
客戶端 socket api:
- const net = require('net');
- const socket = net.Socket({ host: 'xxxx', port: 8124 }, () => {
- console.log('connected to server!');
- client.write('world!\r\n');
- });
- socket.on('data', (data) => {
- console.log(data.toString());
- client.end();
- });
- socket.on('end', () => {
- console.log('disconnected from server');
- });
直接 new 的方式比較麻煩,所以 Node.js 進一步提供了工廠方法:
new Server 可以用 net.createServer
new Socket 可以用 net.createConnection
這樣做了進一步的簡化。
總結
網絡中的兩個進程通過 ip + 端口來通信,通過協議指定數據的格式。端口是一種 ioc 的思想,不直接綁定到進程 id,而是把數據寫入到端口,進程 bind 到這個端口的形式。
端口號是 16 位的數字,表示范圍是 0 到 65535,IANA 把它分成了 3 類來用:
0 到 1024 是協議對應的端口、1024 到 49151 是進程可以注冊的端口,49152 到 65535 是動態分配用的端口。
通過 協議 + ip + 端口的 3 要素就可以定位網絡上的進程,而具體協議的數據格式不同,所以 POSIX 規定了 socket 的一系列 api,包括服務端的 bind、read、write、close,客戶端的 read、write、close 等,提供了類似文件讀寫的 api。
各種語言都對這些操作系統的 api 做了封裝,Node.js 也是。Node.js 對文件讀寫使用 stream 的形式,所以 net.Socket、net.Server 也是 stream 的 api。為了簡化創建,還分別提供了 net.createConnect 和 net.createServer 的工廠方法。
希望這篇文章可以幫助大家理解端口的本質(內存中用于接受網絡數據的數據結構),socket 的本質(POSIX 定義的網絡通信 api),以及熟悉 Node.js 的 net 的 api。