在學習CGFT大數據時,數據存儲策略主要包含哪些內容是很重要的。下文是對它的詳細介紹,一起了解一下!
數據存儲策略包括數據存放、數據讀取和數據復制等方面,它在很大程度上會影響到整個分布式文件系統的讀寫性能,是分布式文件系統的核心內容。
1、數據存放
為了提高數據的可靠性與系統的可用性,以及充分利用網絡寬帶,HDFS采用了以機架為基礎的數據存放策略。
2、數據讀取
HDFS提供了一個API可以確定一個數據節(jié)點所屬的機架ID,客戶端也可以調用API獲取自己所屬的機架ID。
3、數據復制
HDFS的數據復制采用了流水線復制的策略,大大提高了數據復制過程的效率。當客戶端要往HDFS中寫入一個文件時,這個文件會首先被寫入本地,并被切分成若干個塊,每個塊的大小是由HDFS的設定值來決定的。
每個塊都向HDFS集群中的名稱節(jié)點發(fā)起寫請求,名稱節(jié)點會根據系統中各個數據節(jié)點的使用情況,選擇一個數據節(jié)點列表返回給客戶端。