Compression

大型 dar 檔案的最快/最佳壓縮是什麼

  • February 16, 2021

我正在使用 dar(類似於 tar,但針對硬碟進行了優化)來備份 RAID 卷。對於 RAID,它們的大小適中,可能為 3 - 10 TB。我的目標是將結果放在 8 TB 的外部驅動器上,但如果能夠在一個驅動器上放置多個備份,那就太好了。這是出於我的個人愛好,所以價格很重要。

無論如何,我用 dar 啟動了一個 3.4 TB 的文件,使用 xz:0 壓縮,我花了 24 小時完成它,結果只有 740 GB,我不知道工作完成的百分比。這是在具有 32 個超執行緒的雙至強機器上,但不是那麼快;4GHz)

所以我想要一個一天可以處理 3 TB 的壓縮器。更好的壓縮很好,但現在我只想控制它所花費的時間。有沒有關於這種資訊的研究?有人有壓縮大型檔案的經驗嗎?

哦,由於 dar 的工作方式,它必須能夠壓縮流。Dar 壓縮每個組件,因此它知道何時切換切片(輸出可能會轉到多個磁碟或儲存棒上的多個切片)。

終極壓縮級別的 ZSTD 可與 XZ 相媲美,但壓縮速度要快得多(高達 20 倍),其解壓速度簡直是瘋了。

極力推薦為所有壓縮文件創建 par2 恢復記錄。一個位錯誤可能會使您的整個存檔完全損壞。

引用自:https://unix.stackexchange.com/questions/634684