Linux

將 70TB 數據從一台遠端伺服器傳輸到另一台伺服器

  • November 30, 2016

首先,我將詳細說明這裡的場景。

我們有 2 台伺服器都是 ubuntu 14.04 LTS,我們有一個名為 /storage/ 的 70TB 驅動器它包括許多每個 30GB 大小的文件和其他文件。因此,兩者都是遠端伺服器,我想將所有這些數據移動到我的其他遠端伺服器與 /storage/ 相同的驅動器。

有什麼方法可以快速穩定地做到這一點,這樣就不會失去數據?

一旦我嘗試僅將一個文件從一個文件移動到另一個文件,該連結可以正常工作。任何幫助將不勝感激。

有什麼方法可以快速完成

這取決於源伺服器和目標伺服器之間的網路連接速度。

70 TB 是很多數據。在物理上斷開驅動器與伺服器的連接並將其重新安裝到目標伺服器上可能是值得的。

並且穩定,這樣不會有數據失去?

如果您通過scp程序本身使用的加密協議來確保通過文件的完整性來複製文件。因此,只要scp以零狀態結束,您就知道一切順利。

我不確定您從提到的問題中使用了哪些解決方案,但我強烈建議您使用rsyncscreen因為此操作將花費大量時間。

有了這麼多的數據,可能會出現問題(例如,連接可能會失去),您將很難找到應該重新啟動程序的點。Rsync 為您完成。

談論速度 - 這取決於網路連接,是的,移動物理驅動器也可能是一種解決方案。看看 rsync 中的壓縮開關,如果您的文件可以輕鬆壓縮,它可能會有所幫助。如果沒有,那麼不進行壓縮也可能是一個好主意(沒有不必要的 CPU 使用)。

引用自:https://unix.stackexchange.com/questions/327058