Performance

是否有並行文件歸檔器(如 tar)?

  • December 10, 2019

有什麼東西可以並行歸檔文件嗎?

焦油很棒,但我不使用磁帶存檔,而且對我來說更重要的是存檔很快(使用 bzip2 之類的壓縮),因為我有 smp。

我認為您正在尋找 pbzip2:

PBZIP2 是 bzip2 塊排序文件壓縮器的並行實現,它使用 pthread 並在 SMP 機器上實現近線性加速。

查看項目首頁或查看您最喜歡的包儲存庫。

OP詢問了並行歸檔,而不是並行壓縮。

如果源材料來自一個文件系統,其中不同的目錄/文件可能位於不同的磁碟上,或者甚至是一個超過壓縮工具輸入速度的快速磁碟,那麼擁有多個輸入流確實是有益的進入壓縮層。

有意義的問題變成了,並行存檔的輸出是什麼樣的?它不再只是一個文件描述符 / stdout,而是每個執行緒的一個文件描述符。

到目前為止,這方面的一個例子是 Postgresql 的並行轉儲模式pg_dump,其中它轉儲到一個目錄,執行緒在要備份的表集上工作(工作隊列和多個執行緒消耗隊列)。

我不確定是否有任何主流的實際並行存檔器。在 ZFS 上使用 Solaris Tar 有一個 hack:http: //www.maier-komor.de/mtwrite.html

有一些專用備份工具可以成功執行多個執行緒,但更多的只是在高級別的目錄中分割工作負載。

引用自:https://unix.stackexchange.com/questions/2983