用於遷移非常大的 nfs 共享的 Rsync

我想獲得有關如何將 rsync 任務分解為多個部分的意見，以使更改日誌的累積速度更快。情況是我們正在從一個儲存平台遷移到一個新的儲存平台。我們有一個大的平面目錄，裡面有 2.5 毫米的文件。rsync 更改日誌目前需要幾天時間才能完成。我想將幾個 txt 文件分解為每個 txt 文件可能有 100k 個文件，然後對這些文本文件執行幾個 rsync 任務，可能來自不同的伺服器。

我的 shell 腳本遊戲很弱，有誰知道如何完成對 100k 文件執行 ’ls’ 並將其傳送到 txt 文件，然後為下一組 100k 文件選擇備份，依此類推，直到此文件中的所有文件目錄在 25 個 txt 文件之一中表示。

或者，如果有人有比 rsync 更好的主意，我很想听聽。

要生成您要查找的 25 個文件…

$ find /lots/of/files | split -d -l 100000

這將生成每個包含 100,000 行的文件。您可以做更多的事情，split因此請查看聯機幫助頁。-d它們將按數字命名，而不是按字母順序命名——如, x01, x02…x25

從這裡您可以遍歷文件並執行 rsync。

for file in x*
do
  # Run rsync command using $file as the change list
done

高溫高壓

引用自：https://unix.stackexchange.com/questions/430285