Performance
是否有並行文件歸檔器(如 tar)?
有什麼東西可以並行歸檔文件嗎?
焦油很棒,但我不使用磁帶存檔,而且對我來說更重要的是存檔很快(使用 bzip2 之類的壓縮),因為我有 smp。
我認為您正在尋找 pbzip2:
PBZIP2 是 bzip2 塊排序文件壓縮器的並行實現,它使用 pthread 並在 SMP 機器上實現近線性加速。
查看項目首頁或查看您最喜歡的包儲存庫。
OP詢問了並行歸檔,而不是並行壓縮。
如果源材料來自一個文件系統,其中不同的目錄/文件可能位於不同的磁碟上,或者甚至是一個超過壓縮工具輸入速度的快速磁碟,那麼擁有多個輸入流確實是有益的進入壓縮層。
有意義的問題變成了,並行存檔的輸出是什麼樣的?它不再只是一個文件描述符 /
stdout
,而是每個執行緒的一個文件描述符。到目前為止,這方面的一個例子是 Postgresql 的並行轉儲模式
pg_dump
,其中它轉儲到一個目錄,執行緒在要備份的表集上工作(工作隊列和多個執行緒消耗隊列)。我不確定是否有任何主流的實際並行存檔器。在 ZFS 上使用 Solaris Tar 有一個 hack:http: //www.maier-komor.de/mtwrite.html
有一些專用備份工具可以成功執行多個執行緒,但更多的只是在高級別的目錄中分割工作負載。