Backup

支持壓縮和維護硬連結的類似 rsync 的工具?

  • April 5, 2011

我使用rsync基於 - 的備份方案來維護文件伺服器的每日(很快每周和每月)“快照”,使用rsync的 link-dest 功能來儲存未更改文件的快照之間的硬連結。這非常有效:備份超過 330 GB 的數據,如果沒有文件更改,整個快照僅佔用 1.5 MB 的磁碟空間。

最近這台伺服器的硬碟驅動器故障讓我震驚地意識到我現在是多麼脆弱 - 雖然由於這些備份快照,我沒有失去任何數據,備份和它們備份的數據都存在於同一個物理盒子中我公寓的辦公室;像我公寓樓裡的小火一樣簡單的事情可能會完全消除我數據的最後一點(雙關語)!

我有一個可以將外部硬碟驅動器帶到的異地位置,因此我打算實施輪換異地備份,其中我將一個硬碟驅動器離線和異地,同時插入第二個硬碟並備份我的快照,我會定期(例如每週一次)交換它們,這樣如果發生最壞的情況,我最多會失去最後幾週的數據。

現在問題來了:我想在外部硬碟驅動器上備份我的快照,而不是數據本身。(我一天都沒有註意到硬碟故障,所以當天的每日快照幾乎毫無價值;但是,擁有額外的快照是我的培根保存的原因,我也希望在這裡獲得同樣水平的保證。自我注意: 實際上監控那些方便的 SMART 數據…) 久經考驗是cp行不通的,因為它會看到單個文件,而不是硬連結,從而將所需的儲存空間增加 7 倍!rsync會工作,但我希望壓縮這些外部驅動器上的數據,這樣我就可以使用更小的驅動器(我的目標是 1TB,對於目前的 337 GB 數據來說綽綽有餘,但明顯小於近我的文件伺服器的 3TB 容量;我不希望能夠將所有 3 TB 備份到僅 1 TB 驅動器,即使進行壓縮,我只希望 1 TB 隨著數據的增長而具有最長的使用壽命)。

那麼,有沒有人知道一種方法可以在快照之間保持硬連結關聯,同時還可以壓縮我正在備份的文件?理想的解決方案還支持排除列表,因此我可以簡單地跳過壓縮已經壓縮的文件(.zip、.gz、.mp3、.jpg 等)。

只是為了絕對清楚,我正在尋找一個方案,其中 /backup/snapshots/daily.1/file1 中指向 /backup/snapshots/daily.0/file1 的硬連結將被複製到 /mnt/external_hdd /snapshots/daily.1/file1 作為指向 /mnt/external_hdd/snapshots/daily.0/file1 的硬連結,後者(實際文件本身)現在已壓縮(例如 gzip)。

請參閱rdup-simple(來自rdup)。你說你想要壓縮,但如果你改變主意,我強烈推薦rsnapshot

順便說一句,如果兩個硬連結指向一個文件,它就是同一個文件。您不能只壓縮其中一個硬連結,因為它與文件系統中的底層數據相同。

您可以在文件系統級別進行壓縮。但是,Linux 上的傳統文件系統都不支持文件系統,這給您留下了三個選擇。

如果您壓縮一個大檔案,您將獲得比單獨壓縮許多小文件更好的壓縮率。因此,在您的外部媒體上使用檔案是一個好主意。只需使用任何使用存檔的備份軟體,例如duplicity。您仍然可以使用 Gnome 或 KDE 虛擬文件系統或通過AVFS ( mountavfs; ls ~/.avfs$PWD/archive.tgz#/path/to/archive/member) 的任何程序輕鬆瀏覽檔案。

引用自:https://unix.stackexchange.com/questions/10682