CGFT大數(shù)據(jù),什么是冗余數(shù)據(jù)的保存?

CGFT大數(shù)據(jù)中,冗余數(shù)據(jù)的保存是很重要的知識(shí)點(diǎn)。對(duì)于熟練的掌握程度,對(duì)于考試起著至關(guān)重要的作用。

作為一個(gè)分布式文件系統(tǒng),為了保 證系統(tǒng)的容錯(cuò)性和可用性,HDFS采用了多副本方式對(duì)數(shù)據(jù)進(jìn)行冗余存儲(chǔ)。

通常一個(gè)數(shù)據(jù)塊的多個(gè)副本會(huì)被分不到不同的數(shù)據(jù)接單上,如下圖所示,數(shù)據(jù)塊1被分別存放到數(shù)據(jù)節(jié)點(diǎn)A和C上,數(shù)據(jù)塊2被存放在數(shù)據(jù)節(jié)點(diǎn)A和B上。

CGFT大數(shù)據(jù)

這種多副本方式具有以下幾個(gè)優(yōu)點(diǎn):

1、加快數(shù)據(jù)傳輸速度

當(dāng)多個(gè)客戶(hù)端需要同時(shí)訪問(wèn)同一個(gè)文件時(shí),可以讓多個(gè)客戶(hù)端分別從不同的數(shù)據(jù)塊副本中讀取數(shù)據(jù),這就大大加快了數(shù)據(jù)傳輸速度。

特許全球金融科技師CGFT一級(jí)

2、容易檢查數(shù)據(jù)錯(cuò)誤

HDFS的數(shù)據(jù)節(jié)點(diǎn)之間通過(guò)網(wǎng)絡(luò)傳輸數(shù)據(jù),采用多個(gè)副本可以很容易餓判斷數(shù)據(jù)傳輸是否出錯(cuò)。

3、保 證數(shù)據(jù)的可靠性

即使某個(gè)數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障失效,也不會(huì)造成數(shù)據(jù)丟失。