Hadoop集群+設計數據節點機器上的磁碟數量和最低要求

我們使用的是 HDP 版本 - 2.6.5，HDFS Block replication 是 3

我們試圖了解生產模式的數據節點磁碟最低要求，並根據 Block replication=3 的事實

因為我們正在談論生產集群並重新升級到 HDFS 副本 = 3

每個數據節點機器的最小磁碟數應該是多少？

複製因子只是意味著您需要所需的儲存量* 3。關於磁碟，最好有一個磁碟用於作業系統/軟體，其餘磁碟用於數據。由於您沒有提供要儲存的數據大小、所需的 I/O 操作/s，因此很難提供更詳細的答案。但是您可以考慮使用 3 個磁碟（如果是 DAS），一個用於作業系統/應用程序，兩個（在鏡像中）用於數據。

引用自：https://unix.stackexchange.com/questions/562922