欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)老師教你快速讀懂MapReduce

2018-09-21 14:26:57 1298瀏覽

先說一下MapReduce的定義。它是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算，名字中暗含著"Map(映射)"和"Reduce(歸約)"的意思，是從函數(shù)式編程語言、矢量編程語言中借鑒而來的。

MapReduce的三層含義

1)MapReduce是一個(gè)基于集群的高性能并行計(jì)算平臺(tái)(Cluster Infrastructure)。它允許用市場上普通的商用服務(wù)器構(gòu)成一個(gè)包含數(shù)十、數(shù)百至數(shù)千個(gè)節(jié)點(diǎn)的分布和并行計(jì)算集群。

2)MapReduce是一個(gè)并行計(jì)算與運(yùn)行軟件框架(Software Framework)。它提供了一個(gè)龐大但設(shè)計(jì)精良的并行計(jì)算軟件框架，能自動(dòng)完成計(jì)算任務(wù)的并行化處理，自動(dòng)劃分計(jì)算數(shù)據(jù)和計(jì)算任務(wù)，在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行任務(wù)以及收集計(jì)算結(jié)果，將數(shù)據(jù)分布存儲(chǔ)、數(shù)據(jù)通信、容錯(cuò)處理等并行計(jì)算涉及到的很多系統(tǒng)底層的復(fù)雜細(xì)節(jié)交由系統(tǒng)負(fù)責(zé)處理，大大減少了軟件開發(fā)人員的負(fù)擔(dān)。

3)MapReduce是一個(gè)并行程序設(shè)計(jì)模型與方法(Programming Model & Methodology)。它借助于函數(shù)式程序設(shè)計(jì)語言Lisp的設(shè)計(jì)思想，提供了一種簡便的并行程序設(shè)計(jì)方法，用Map和Reduce兩個(gè)函數(shù)編程實(shí)現(xiàn)基本的并行計(jì)算任務(wù)，提供了抽象的操作和并行編程接口，以簡單方便地完成大規(guī)模數(shù)據(jù)的編程和計(jì)算處理。

MapReduce的四大功能

1)數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度：

系統(tǒng)自動(dòng)將一個(gè)作業(yè)(Job)待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對(duì)應(yīng)于一個(gè)計(jì)算任務(wù)(Task)，并自動(dòng) 調(diào)度計(jì)算節(jié)點(diǎn)來處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)(Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn))，同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并 負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。

2)數(shù)據(jù)/代碼互定位：

為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤上所分布存儲(chǔ)的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向 數(shù)據(jù)的遷移;當(dāng)無法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)(數(shù)據(jù)向代碼遷移)，但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋 找可用節(jié)點(diǎn)以減少通信延遲。

3)系統(tǒng)優(yōu)化：

為了減少數(shù)據(jù)通信開銷，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會(huì)進(jìn)行一定的合并處理;一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會(huì)來自多個(gè) Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè) Reduce節(jié)點(diǎn);此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對(duì)最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。

4)出錯(cuò)檢測和恢復(fù)：

以低端商用服務(wù)器構(gòu)成的大規(guī)模MapReduce計(jì)算集群中，節(jié)點(diǎn)硬件(主機(jī)、磁盤、內(nèi)存等)出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此 MapReduce需要能檢測并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲(chǔ)的可靠性，用多備份冗余存儲(chǔ)機(jī)制提 高數(shù)據(jù)存儲(chǔ)的可靠性，并能及時(shí)檢測和恢復(fù)出錯(cuò)的數(shù)據(jù)。

【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】 

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>