Linux

快速進行大型文件系統備份

  • August 28, 2018

/home 上掛載了一個文件系統,它有 2.6PB 的儲存空間。目前,/home 目錄下有 300TB+ 的數據分散。我打算每天將整個 300TB+ 的數據備份到 /home/fs_backup,但是我發現通過以下命令tar非常慢:

cd /home/fs_backup && tar -cpf backup.tar.gz  --exclude="/home/fs_backup" --one-file-system "/home"

我估計它只能產生 10GB/min,這意味著整個 300TB+ 的數據無法在 24 小時內備份。知道如何在 /home 下“製作”目前數據的副本,無論它是否壓縮良好 - 甚至根本沒有壓縮 - 或者沒有在短時間內壓縮。非常感謝。

由於您已經確定無法在規定的 24 小時期限內備份全部 300GB 容量,因此您需要查看您的要求。

在文件級別,增量工具(例如starduplicity或什至rsync/ )rsnapshot可能仍然需要超過一天的時間來創建基本備份,但之後它應該會快得多。顯然,這將取決於每 24 小時備份期間更改的文件的數量和大小。

在文件系統級別,快照可能足以滿足您的需求(儘管這不是真正的備份),尤其是當您可以在閒暇時從快照中進行真正的備份,而無需過多考慮完成所需的時間。和以前一樣,一旦基礎備份已經建立,您的增量可能會花費更少的時間來生成。

您尚未指定應如何儲存備份,但對於許多小型文件來說,類似的東西rsnapshot可能是一個不錯的選擇。(我將它用於我們許多內部文件伺服器的基於文件的備份,因為它允許我們為恢復目的輕鬆訪問單個文件。)

順便說一句,備份到同一主機上的另一個磁碟實際上不應該被視為安全備份。完全備份到不同的主機會好得多。(如果/home/fs_backup是來自不同伺服器的遠端掛載,請認真考慮使用duplicityrsync/rsnapshot直接與遠端主機通信,而不是通過遠端掛載的文件系統。)

引用自:https://unix.stackexchange.com/questions/465293