面試官:說說對 Node 中的 Stream 的理解?應用場景?
本文轉載自微信公眾號「JS每日一題」,作者灰灰 。轉載本文請聯系JS每日一題公眾號。
一、是什么
流(Stream),是一種數據傳輸手段,是端到端信息交換的一種方式,是有順序的,是逐塊讀取數據、處理內容,用于順序讀取輸入或寫入輸出
在很多時候,流(Stream)是字節流(Byte Steram)的簡稱,也就是長長的一串字節
除了字節流,還可以有視頻流、音頻流、數據流
流的獨特之處在于,它不像傳統的程序那樣一次將一個文件讀入內存,而是逐塊讀取數據、處理其內容,而不是將其全部保存在內存中
流可以分成三部分:source、dest、pipe
在source和dest之間有一個連接的管道pipe,它的基本語法是source.pipe(dest),source和dest就是通過pipe連接,讓數據從source流向了dest,如下圖所示:
二、種類
在NodeJS,幾乎所有的地方都使用到了流的概念,分成四個種類:
可寫流:可寫入數據的流。例如 fs.createWriteStream() 可以使用流將數據寫入文件
- 可讀流:可讀取數據的流。例如fs.createReadStream() 可以從文件讀取內容
- 雙工流:既可讀又可寫的流。例如 net.Socket
- 轉換流:可以在數據寫入和讀取時修改或轉換數據的流。例如,在文件壓縮操作中,可以向文件寫入壓縮數據,并從文件中讀取解壓數據
在NodeJS中HTTP服務器模塊中,request 是可讀流,response 是可寫流。還有fs 模塊,能同時處理可讀和可寫文件流
可讀流和可寫流都是單向的,比較容易理解,而另外兩個是雙向的
雙工流
之前了解過websocket通信,是一個全雙工通信,發送方和接受方都是各自獨立的方法,發送和接收都沒有任何關系
如下圖所示:
基本代碼如下:
- const { Duplex } = require('stream');
- const myDuplex = new Duplex({
- read(size) {
- // ...
- },
- write(chunk, encoding, callback) {
- // ...
- }
- });
轉換流
轉換流的演示圖如下所示:
比如一個 babel,把es6轉換為es5,我們在左邊寫入 es6,從右邊讀取 es5
基本代碼如下所示:
- const { Transform } = require('stream');
- const myTransform = new Transform({
- transform(chunk, encoding, callback) {
- // ...
- }
- });
三、應用場景
stream的應用場景主要就是處理IO操作,而http請求和文件操作都屬于IO操作
思想一下,如果一次IO操作過大,硬件的開銷就過大,而將此次大的IO操作進行分段操作,讓數據像水管一樣流動,知道流動完成
常見的場景有:
- get請求返回文件給客戶端
- 文件操作
- 一些打包工具的底層操作
get請求返回文件給客戶端
使用stream流返回文件,res也是一個stream對象,通過pipe管道將文件數據返回
- const server = http.createServer(function (req, res) {
- const method = req.method; // 獲取請求方法
- if (method === 'GET') { // get 請求
- const fileName = path.resolve(__dirname, 'data.txt');
- let stream = fs.createReadStream(fileName);
- stream.pipe(res); // 將 res 作為 stream 的 dest
- }
- });
- server.listen(8000);
文件操作
創建一個可讀數據流readStream,一個可寫數據流writeStream,通過pipe管道把數據流轉過去
- const fs = require('fs')
- const path = require('path')
- // 兩個文件名
- const fileName1 = path.resolve(__dirname, 'data.txt')
- const fileName2 = path.resolve(__dirname, 'data-bak.txt')
- // 讀取文件的 stream 對象
- const readStream = fs.createReadStream(fileName1)
- // 寫入文件的 stream 對象
- const writeStream = fs.createWriteStream(fileName2)
- // 通過 pipe執行拷貝,數據流轉
- readStream.pipe(writeStream)
- // 數據讀取完成監聽,即拷貝完成
- readStream.on('end', function () {
- console.log('拷貝完成')
- })
一些打包工具的底層操作
目前一些比較火的前端打包構建工具,都是通過node.js編寫的,打包和構建的過程肯定是文件頻繁操作的過程,離不開stream,如gulp
參考文獻
https://xie.infoq.cn/article/1a9695020828460eb3c4ff1fa
https://juejin.cn/post/6844903891083984910