成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Fuse文件系統(tǒng)優(yōu)化方案

運(yùn)維 系統(tǒng)運(yùn)維
文件系統(tǒng)是一個(gè)通用操作系統(tǒng)重要的組成部分。傳統(tǒng)上操作系統(tǒng)在內(nèi)核層面上對(duì)文件系統(tǒng)提供支持。而通常內(nèi)核態(tài)的代碼難以調(diào)試,生產(chǎn)率較低。目前很多文件系統(tǒng)基于Fuse開(kāi)發(fā),作者深入鉆研Fuse代碼后,總結(jié)出開(kāi)發(fā)此類文件系統(tǒng)時(shí)可考慮的優(yōu)化方案,分享給大家。

目前很多文件系統(tǒng)基于Fuse開(kāi)發(fā),作者深入鉆研Fuse代碼后,總結(jié)出開(kāi)發(fā)此類文件系統(tǒng)時(shí)可考慮的優(yōu)化方案,拿出來(lái)與大家討論討論,如有不準(zhǔn)確的地方,還望大家不吝賜教。閱讀本文前,我假設(shè)你對(duì)Fuse有了足夠多的了解(起碼知道Fuse有兩個(gè)模塊:Fuse Kernel 和LibFuse以及知道一個(gè)應(yīng)用程序調(diào)用行為如何傳遞至我們自己開(kāi)發(fā)的基于Fuse的文件系統(tǒng)),否則,請(qǐng)先移步。

優(yōu)化1:延長(zhǎng)元數(shù)據(jù)有效時(shí)間

Linux中每個(gè)打開(kāi)文件在內(nèi)核中擁有兩種元數(shù)據(jù)信息:struct dentry和struct inode,它們是文件在內(nèi)核的基礎(chǔ)。所有對(duì)文件的操作,都需要先獲取文件這兩個(gè)結(jié)構(gòu)方可繼續(xù)下去,而這兩個(gè)結(jié)構(gòu)又是由具體文件系統(tǒng)負(fù)責(zé)構(gòu)造填充。以下兩點(diǎn)解釋了元數(shù)據(jù)優(yōu)化的必要性:

1).  應(yīng)用程序調(diào)用文件系統(tǒng)操作系統(tǒng)接口時(shí),傳入的參數(shù)一般為文件路徑,如open(“a/b/c/d.txt”),內(nèi)核需要對(duì)路徑名進(jìn)行解析,從根目錄開(kāi)始,根據(jù)路徑中的每個(gè)分量獲取其dentry和inode,接著解析路徑的下一個(gè)分量,直至解析出目的文件的inode和dentry,如果路徑名分量中的dentry沒(méi)有緩存在內(nèi)存中,需要從具體文件系統(tǒng)上讀出(這就耗時(shí)多了)。

2). 很多應(yīng)用程序喜歡調(diào)用stat接口以獲取文件屬性,內(nèi)核實(shí)現(xiàn)其實(shí)是找到文件inode,從inode中獲取文件屬性。如果inode沒(méi)有被緩存,則需要從具體文件系統(tǒng)中獲取(可能會(huì)很耗時(shí))。

因?yàn)镕use的內(nèi)核模塊只是一個(gè)橋梁,連接了應(yīng)用程序和我們基于Fuse開(kāi)發(fā)的文件系統(tǒng)。所以,按照道理說(shuō),每次獲取文件/目錄的inode以及dentry的時(shí)候Fuse內(nèi)核模塊都應(yīng)該去LibFuse以及我們的文件系統(tǒng)走一遭。

但是這樣做的話缺點(diǎn)非常明顯:IO路徑拉長(zhǎng),效率變低,而且假如我們基于fuse開(kāi)發(fā)的文件系統(tǒng)是網(wǎng)絡(luò)文件系統(tǒng)(例如NOS等),可能會(huì)導(dǎo)致后端服務(wù)器壓力增大。

有鑒于此,F(xiàn)use的作者在Kernel Fuse模塊中增加了元數(shù)據(jù)緩存,包含dentry和inode緩存。相比本地文件系統(tǒng),我們必須時(shí)刻警惕一個(gè)問(wèn)題:緩存有效性。所以,如何在提升性能的同時(shí)又盡量保證正確性是一個(gè)棘手的問(wèn)題。

利用fuse掛載我們自己文件系統(tǒng)時(shí),可指定dentry以及inode屬性有效時(shí)間,當(dāng)然這個(gè)有效時(shí)間得具體問(wèn)題具體設(shè)置了,無(wú)統(tǒng)一答案。

優(yōu)化方法:fuse掛載指定 –o entry_timeout=T –o attr_timeout=T

優(yōu)化建議:五顆星

優(yōu)化2:擴(kuò)大每次寫(xiě)入頁(yè)面數(shù)

應(yīng)用程序每次對(duì)基于Fuse開(kāi)發(fā)的文件系統(tǒng)的文件寫(xiě)入必先經(jīng)過(guò)Kernel Fuse模塊,Kernel Fuse其實(shí)是有很大權(quán)限決定何時(shí)將數(shù)據(jù)寫(xiě)入到用戶態(tài)文件系統(tǒng)的。寫(xiě)的越頻繁,效率必然越低,但一致性可能會(huì)更好,控制寫(xiě)入頻率其實(shí)也是一個(gè)權(quán)衡的過(guò)程。

如果稍微熟悉Kernel你可能就會(huì)知道內(nèi)核的IO其實(shí)是以Page為單位的。內(nèi)核會(huì)將應(yīng)用程序的寫(xiě)入請(qǐng)求按照PAGE_SIZE劃分成多個(gè)page,然后再對(duì)page進(jìn)行IO,簡(jiǎn)潔優(yōu)美。

如果不作優(yōu)化,Kernel Fuse對(duì)應(yīng)用程序的每次page都會(huì)調(diào)用一次用戶態(tài)文件系統(tǒng)的寫(xiě)操作,這樣假如我們用戶態(tài)的64KB的寫(xiě)請(qǐng)求,按照默認(rèn)的PAGE_SIZE(4KB)可能會(huì)觸發(fā)16次的用戶態(tài)寫(xiě),實(shí)際IO次數(shù)被放大,效率嚴(yán)重下降。如果采取優(yōu)化,Kernel Fuse默認(rèn)會(huì)每128KB才觸發(fā)一次用戶態(tài)文件系統(tǒng)寫(xiě)調(diào)用,當(dāng)然亦可指定觸發(fā)寫(xiě)調(diào)用的閾值。

優(yōu)化方法:fuse掛載指定 –o big_write –o max_write=N

優(yōu)化建議:五顆星

優(yōu)化3:開(kāi)啟內(nèi)核讀緩存

Linux文件系統(tǒng)實(shí)現(xiàn)充分利用了內(nèi)存來(lái)緩存文件數(shù)據(jù),這樣應(yīng)用程序很多時(shí)候讀文件其實(shí)只需從內(nèi)核緩沖區(qū)拷貝數(shù)據(jù)至用戶態(tài)緩沖區(qū)即可,根本不必啟動(dòng)磁盤(pán)IO。

由于Fuse的特殊性,需要嚴(yán)格控制數(shù)據(jù)緩存行為(看看我們前面提到的元數(shù)據(jù)緩存吧),因?yàn)榭赡芪覀儗?shí)現(xiàn)的基于Fuse的文件系統(tǒng)其實(shí)是一個(gè)網(wǎng)絡(luò)文件系統(tǒng),那么如果使用內(nèi)核緩存,可能就讀到臟數(shù)據(jù),因?yàn)樽鳛橛脩魬B(tài)的你是很難控制內(nèi)核的行為的。

不過(guò)Fuse的作者非常周到,它提供了多種掛載選項(xiàng),來(lái)控制緩存行為,但友情提醒:一旦選擇開(kāi)啟緩存,請(qǐng)為自己的可能讀的過(guò)期數(shù)據(jù)負(fù)責(zé)。

優(yōu)化方法:fuse掛載指定 –o kernel_cache –o auto_cache

順便提一句:我們上面說(shuō)的都是參數(shù)kernel_cache的行為,沒(méi)有說(shuō)明auto_cache的行為,留給各位讀者仔細(xì)研究吧,提個(gè)醒:該選項(xiàng)是基于文件修改時(shí)間進(jìn)行內(nèi)核緩存有效性檢測(cè)的優(yōu)化策略。

優(yōu)化建議:三顆星

優(yōu)化4:擴(kuò)大預(yù)讀窗口

預(yù)讀是在是一件有趣的事情。Linux內(nèi)核通過(guò)預(yù)讀改變了應(yīng)用程序的原始讀行為。比如應(yīng)用程序發(fā)起了一個(gè)16KB的讀請(qǐng)求,內(nèi)核可能莫名其妙地讀取64KB數(shù)據(jù)等。當(dāng)然,它這么做肯定有其道理,簡(jiǎn)單來(lái)說(shuō):一切為了性能,為了性能的一切。另外,我會(huì)在近期推出一篇預(yù)讀相關(guān)文章,詳細(xì)闡述預(yù)讀機(jī)制,敬請(qǐng)關(guān)注。

Fuse允許掛載用戶態(tài)文件系統(tǒng)時(shí)指定預(yù)讀窗口大小,F(xiàn)use會(huì)用該設(shè)定值作為***的預(yù)讀窗口大小,若不指定,會(huì)采用Linux默認(rèn)的***預(yù)讀窗口大小128KB。但是其實(shí)如果你設(shè)置了Fuse的預(yù)讀窗口超過(guò)Linux默認(rèn)的128KB也是徒勞,因?yàn)閂FS不允許預(yù)讀窗口超過(guò)128KB限制,所以總的來(lái)說(shuō),優(yōu)化的意義不大。

優(yōu)化方法:fuse掛載指定 –o max_readahead = N

優(yōu)化建議:一顆星

優(yōu)化5:使用DirectIO取代BufferIO

有些時(shí)候,應(yīng)用程序希望繞過(guò)OS的緩存而自己管理緩存(如數(shù)據(jù)庫(kù)),這需要文件系統(tǒng)實(shí)現(xiàn)DIRECTIO方法。

同樣,貼心的Fuse作者也為我們提供了directIO方式的讀寫(xiě)。相比BufferIO方式,DirectIO的***優(yōu)勢(shì)在于減少了數(shù)據(jù)從應(yīng)用程序緩沖區(qū)拷貝至內(nèi)核態(tài)的開(kāi)銷,對(duì)于大量順序?qū)懙膽?yīng)用場(chǎng)景,性能可能會(huì)有一定提升。

當(dāng)然,如果采用DirectIO,恐怕***的問(wèn)題就是read也無(wú)法使用內(nèi)核緩存了,很多時(shí)候這是我們無(wú)法忍受的,常常來(lái)說(shuō),文件系統(tǒng)讀請(qǐng)求會(huì)遠(yuǎn)多于寫(xiě),所以,優(yōu)化前望三思。

優(yōu)化方法:fuse掛載指定 -o direct_io

優(yōu)化建議:一顆星

責(zé)任編輯:黃丹 來(lái)源: bitstech.net
相關(guān)推薦

2014-01-24 09:58:45

fuse文件系統(tǒng)

2018-06-08 15:56:52

LinuxBittorrent文件系統(tǒng)

2022-04-15 08:00:00

FUSE開(kāi)發(fā)Android

2021-06-29 07:47:22

文件系統(tǒng)磁盤(pán)

2018-05-29 09:00:00

LinuxBTFS文件系統(tǒng)

2011-08-05 14:51:21

2020-07-22 14:53:06

Linux系統(tǒng)虛擬文件

2011-01-13 14:10:30

Linux文件系統(tǒng)

2019-09-20 10:04:45

Linux系統(tǒng)虛擬文件

2018-08-24 10:10:25

Linux文件系統(tǒng)技術(shù)

2021-06-06 16:55:22

Linux文件系統(tǒng)

2021-04-12 05:44:44

Linux文件系統(tǒng)

2012-09-12 14:40:19

Lustre文件系統(tǒng)

2021-05-31 07:50:59

Linux文件系統(tǒng)

2013-05-27 14:46:06

文件系統(tǒng)分布式文件系統(tǒng)

2021-05-31 06:10:14

Btrfs文件系統(tǒng)Linux

2010-04-29 10:11:17

Unix系統(tǒng)

2010-04-30 15:51:48

Unix系統(tǒng)

2011-03-23 14:00:44

2009-12-22 15:12:33

Linux擴(kuò)展文件系統(tǒng)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)

主站蜘蛛池模板: 午夜视频精品 | 99爱国产 | 99国内精品久久久久久久 | 欧美日韩亚洲二区 | 欧美高清视频一区 | 久久久久午夜 | 热久久久| 91精品久久久久久久久 | 日韩免费视频一区二区 | 日韩欧美国产电影 | 97国产精品视频人人做人人爱 | 91免费电影 | 日韩三级 | 日本一区不卡 | 国产欧美一区二区三区在线看 | 日韩精品成人 | 成人欧美一区二区三区色青冈 | 久久亚洲免费 | 久久久久久国产精品免费免费 | 中文字幕男人的天堂 | 精品国产一区二区三区日日嗨 | 老外几下就让我高潮了 | 99re免费 | 欧美一区二区三区 | 国产精品一区二区久久精品爱微奶 | 色婷婷久久久亚洲一区二区三区 | 国产二区三区 | 国产成人精品999在线观看 | 欧美日韩不卡合集视频 | 国产成人免费视频 | 亚洲一区在线免费观看 | 久久久久久久久久一区 | 九九热在线免费视频 | 亚洲自拍一区在线观看 | h片免费看| 美女视频黄色的 | 日韩a v在线免费观看 | 成人激情视频在线播放 | 蜜桃一区二区三区在线 | 欧美国产精品 | 天天狠狠|