Backup

加速gzip壓縮

  • April 10, 2017

是否可以加快gzip程序?

我正在使用

mysqldump "$database_name" | gzip > $BACKUP_DIR/$database_name.sql.gz

將數據庫備份到目錄中,$BACKUP_DIR.

手冊頁說:

-# –fast –best

使用指定的數字 # 調節壓縮速度,其中 -1 或 –fast 表示最快的壓縮方法(較少壓縮),-9 或 –best 表示最慢的壓縮方法(最佳壓縮)。預設壓縮級別為 -6(即,以犧牲速度為代價偏向高壓縮)。

  • 使用效果如何--fast
  • 這是否有效地降低了現代電腦的 CPU 使用率?

我的測試結果

我沒有註意到任何加速:

  • 7 分 47 秒(預設比例-6
  • 8 分 36 秒(比例為--fast(= 9))

那麼使用快速壓縮似乎需要更長的時間?

只有更高的壓縮才能真正減慢它:

  • 11 分 57 秒(比率為--best(= 1))

在得到這個想法後,lzop我也測試了它,它確實更快:

  • 6 分 14 秒lzop -1 -f -o $BACKUP_DIR/$database_name.sql.lzo

如果你有一台多核機器,使用pigz比傳統的 gzip 快得多。

pigz 代表 gzip 的並行實現,是 gzip 的全功能替代品,它在壓縮數據時充分利用了多個處理器和多個核心。pigz 由 Mark Adler 編寫,使用 zlib 和 pthread 庫。

Pigz 可以用作 gzip 的替代品。請注意,不僅可以並行化壓縮,而不能並行化解壓縮。

使用 pigz 命令行變為

mysqldump "$database_name" | pigz > $BACKUP_DIR/$database_name.sql.gz

引用自:https://unix.stackexchange.com/questions/88732