CGFT考試科目知識分享:什么是數據存放?

什么是數據存放?在學習知識的過程中基礎知識很重要,今天小編給你說說CGFT考試中考的內容!

為了提高數據的可靠性與系統的可用性,以及充分利用網絡帶寬,HDFS采用了以機架(Rack)為基礎的數據存放策略。

一個HDFS集群通常包含多個機架,不同機架之間的數據通訊需要經過交換機或者路由器,同一個機架中不同機器之間的通訊則不需要經過交換機和路由器,這意味著同一個機架中不同機器之間的通訊要比不同機架之間機器的通訊帶寬大。


HDFS默認每個數據節(jié)點都是在不同的機架上,這種方法會存在一個缺點,那就是寫入數據的時候不能充分利用同一機架內部機器之間的帶寬。

但是,與這點缺點相比,這種方法也帶來了更多很顯著的優(yōu)點:首先,可以獲得很高的數據可靠性,即使一個機架發(fā)生故障,位于其他機架上的數據副本仍然是可用的;其次,在讀取數據的時候,可以在多個機架并行讀取數據,大大提高了數據讀取速度;*后,可以更容易實現系統內部負載均衡和錯誤處理。

HDFS默認的阮余復制因子是3,每一個文件塊會被同時保存到3個地方,其中,有兩份副本放在同一個機架的不同機器上面,第三個副本放在不同機架的機器上面,這樣既可以*機架導堂時的數據恢復,也可以提高數據讀寫性能。