Compression

gz 壓縮率會隨著時間的推移而提高嗎?

  • November 11, 2019

我有一些過程可以創建數百萬條高度相似的行。我把這個傳到gz. 在這樣的設置中,壓縮率會隨著時間的推移而提高嗎?即 100 萬條類似行的壓縮比是否比 10,000 條更好?

它確實達到了一定的程度,並且達到了平衡。壓縮算法對其查看的塊的大小有限制bzip2gzip

在 gzip 的情況下,一旦表已滿,舊條目就會被推出,並且壓縮不會進一步改善。根據您的壓縮質量因子 ( -0to -9) 和輸入的重複性,這種填充當然可能需要一段時間,您可能不會注意到。

不多。使用的 DEFLATE 算法覆蓋的“距離”gzip限制為 32 KB。

維基百科連結-> DEFLATE

值得對各種gzip壓縮級別進行基準測試,並考慮bzip2xz

引用自:https://unix.stackexchange.com/questions/213255