創建大型元數據表以映射儲存
我想弄清楚如何管理我的儲存空間,這已經相當大了。這個想法是查看不必要的文件,並存檔/刪除。
目前,我只是在做 `du -h max-depth 1 並將輸出通過管道傳輸到文本文件中。
但是,我想了解更多資訊,以便弄清楚如何歸檔/刪除我目前的儲存。
—遞歸獲取所有文件的文件類型和大小的最佳方法是什麼?這將是一種快速檢查無用中間文件的方法
—我正在考慮將所有文件元數據(即數據使用者、文件類型、文件大小、時間戳)輸出到一個大的 tsv 文件中,因此我可以根據大小和文件類型在 Python/R 中對其進行子集化。這可能嗎?我們將如何獲取這些資訊?
—有沒有方法可以查看儲存與時間的關係?
—是否有任何其他診斷/精美的視覺化可以幫助我弄清楚如何組織/存檔/刪除目前儲存的數據?
這對於評論來說太長了,但對於答案來說還不夠好。對於那個很抱歉。
—遞歸獲取所有文件的文件類型和大小的最佳方法是什麼?這將是一種快速檢查無用中間文件的方法
不確定“最佳”部分,但首先在 Google 上搜尋“高級磁碟使用 linux”導致了這個。
—我正在考慮將所有文件元數據(即數據使用者、文件類型、文件大小、時間戳)輸出到一個大的 tsv 文件中,因此我可以根據大小和文件類型在 Python/R 中對其進行子集化。這可能嗎?我們將如何獲取這些資訊?
使用 Python,當然:只需使用
os.walk()
遞歸目錄並列印出每個文件的所有相關資訊。我可能會使用 SQLite 作為輸出格式而不是 TSV。—有沒有方法可以查看儲存與時間的關係?
您可以
du -s
定期執行並將結果提供給 RRD 數據庫。然後你可以用它製作漂亮的圖表。—是否有任何其他診斷/精美的視覺化可以幫助我弄清楚如何組織/存檔/刪除目前儲存的數據?
應該有,但我懷疑它們對您的特定情況有多大用處。