數百萬個小文件的最佳分區格式和 RAID 設置是什麼？

如果我有數百萬個按文件夾分佈的小文件，最好的分區格式是什麼？為了盡可能快地管理它們，需要什麼 raid 設置？例如搜尋所有文件，查找大於 x MB 的文件等。

在這種情況下，將 4-5 個 SSD 分佈在 RAID 中以提高性能會有所幫助嗎？

考慮到大多數文件都在 1 MB 以下，在這種情況下是否有某種分區格式可以更快地執行？

**編輯：**數據將被多次讀取以進行查詢，因此讀取次數至少是寫入次數的兩倍。數據並不重要，速度比數據保護更重要。

一般來說，對於 RAID，您將獲得 N（設備數量）* I（iops）進行讀取，並且根據 RAID 級別對寫入進行一些劃分。(N*I)/2 用於鏡像，/4 用於raid5，/6 用於raid6，等等。

對於非關鍵數據，可能會在設備故障時失去，從頭開始重新創建，或者只是創建新的，RAID0 將是最快的寫入。這是跨多個設備的簡單條帶，並且不會發生奇偶校驗讀取或寫入來消耗 Write Iops。在 RAID0 中，讀寫性能都應該是 N*I。（您的 CPU 和選擇的文件系統的記憶體方法可能會影響數字，但作為一般規則，您應該非常接近這一點。

根據您可用的驅動器數量和您需要的容量，使用 RAID10 將使您的讀取性能保持在 N I 並且您的寫入性能將是 (N I)/2，因為您必須向鏡像的兩側發出寫入.

使用 EXT4 配置為條帶的 4-5 個 SSD 將為您（在我看來）提供性能和簡單性的最佳交集，但會犧牲數據保護。

RAID10 將使您的容量和寫入性能減半，保持讀取性能（您仍然可以從所有驅動器讀取），並為您提供良好的數據完整性。

對於暫存數據，我會在單個分區上使用 EXT4 和 RAID0，並根據需要使用多個文件夾。

引用自：https://unix.stackexchange.com/questions/434505