Feed Facebook

A-A+

Ext4 ReiserFS Btrfs 等七種文件系統性能比拼

2009年06月25日 Ubuntu, 研究資源 暫無評論

Linux kernel 自 2.6.28 開始正式支援新的檔系統 Ext4。 Ext4 是 Ext3 的改進版,修改了 Ext3 中部分重要的資料結構,而不僅僅像 Ext3 對 Ext2 那樣,只是增加了一個日誌功能而已。Ext4 可以提供更佳的性能和可靠性,還有更為豐富的功能:

1. 與 Ext3 相容。執行若干條命令,就能從 Ext3 線上遷移到 Ext4,而無須重新格式化磁片或重新安裝系統。原有 Ext3 資料結構照樣保留,Ext4 作用於新資料,當然,整個檔系統因此也就獲得了 Ext4 所支援的更大容量。

2. 更大的檔系統和更大的檔。較之 Ext3 目前所支援的最大 16TB 檔系統和最大 2TB 檔,Ext4 分別支持 1EB(1,048,576TB, 1EB=1024PB, 1PB=1024TB)的檔系統,以及 16TB 的檔。

3. 無限數量的子目錄。Ext3 目前只支持 32,000 個子目錄,而 Ext4 支持無限數量的子目錄。

4. ExtentsExt3 採用間接塊映射,當操作大檔時,效率極其低下。比如一個 100MB 大小的檔,在 Ext3 中要建立 25,600 個資料塊(每個資料塊大小為 4KB)的映射表。而 Ext4 引入了現代檔系統中流行的 extents 概念,每個 extent 為一組連續的資料塊,上述檔則表示為“該檔資料保存在接下來的 25,600 個資料塊中”,提高了不少效率。

5. 多塊分配。當 寫入資料到 Ext3 檔系統中時,Ext3 的資料塊分配器每次只能分配一個 4KB 的塊,寫一個 100MB 檔就要調用 25,600 次資料塊分配器,而 Ext4 的多塊分配器“multiblock allocator”(mballoc) 支持一次調用分配多個資料塊。

6. 延遲分配。Ext3 的資料塊分配策略是儘快分配,而 Ext4 和其他現代檔作業系統的策略是盡可能地延遲分配,直到檔在 cache 中寫完才開始分配資料塊並寫入磁片,這樣就能優化整個檔的資料塊分配,與前兩種特性搭配起來可以顯著提升性能。

7. 快速 fsck以前執行 fsck 第一步就會很慢,因為它要檢查所有的 inode,現在 Ext4 給每個組的 inode 表中都添加了一份未使用 inode 的列表,今後 fsck Ext4 檔系統就可以跳過它們而只去檢查那些在用的 inode 了。

8. 日誌校驗。日誌是最常用的部分,也極易導致磁片硬體故障,而從損壞的日誌中恢復資料會導致更多的資料損壞。Ext4 的日誌校驗功能可以很方便地判斷日誌資料是否損壞,而且它將 Ext3 的兩階段日誌機制合併成一個階段,在增加安全性的同時提高了性能。

9. “無日誌”(No Journaling)模式。日誌總歸有一些開銷,Ext4 允許關閉日誌,以便某些有特殊需求的用戶可以借此提升性能。

10. 線上碎片整理。儘管延遲分配、多塊分配和 extents 能有效減少檔系統碎片,但碎片還是不可避免會產生。Ext4 支援線上碎片整理,並將提供 e4defrag 工具進行個別檔或整個檔系統的碎片整理。

11. inode 相關特性。Ext4 支持更大的 inode,較之 Ext3 默認的 inode 大小 128 位元組,Ext4 為了在 inode 中容納更多的擴展屬性(如納秒時間戳或 inode 版本),默認 inode 大小為 256 位元組。Ext4 還支援快速擴展屬性(fast extended attributes)和 inode 保留(inodes reservation)。

12. 持久預分配(Persistent preallocation)。P2P 軟體為了保證下載檔有足夠的空間存放,常常會預先創建一個與所下載檔大小相同的空檔,以免未來的數小時或數天之內磁碟空間不足導致下載失敗。 Ext4 在檔系統層面實現了持久預分配並提供相應的 API(libc 中的 posix_fallocate()),比應用軟體自己實現更有效率。
13. 默認啟用 barrier磁 盤上配有內部緩存,以便重新調整批量資料的寫操作順序,優化寫入性能,因此檔系統必須在日誌資料寫入磁片之後才能寫 commit 記錄,若 commit 記錄寫入在先,而日誌有可能損壞,那麼就會影響資料完整性。Ext4 默認啟用 barrier,只有當 barrier 之前的資料全部寫入磁片,才能寫 barrier 之後的資料。(可通過 “mount -o barrier=0” 命令禁用該特性。)

未命名

標籤:

給我留言