欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂簡述大數(shù)據(jù)MapReduce理解

2018-04-28 13:15:04 1368瀏覽

        對大數(shù)據(jù)分析感興趣的小伙伴你需要了解很多的大數(shù)據(jù)開發(fā)方面的知識與技能，本篇文章扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)小編就給大家分享一下大數(shù)據(jù)MapReduce理解。

        為什么需要MapReduce?因為MapReduce可以“分而治之”，將計算大數(shù)據(jù)的復(fù)雜任務(wù)分解成若干簡單小任務(wù)。“簡單”的意思是：計算規(guī)模變小、就近節(jié)點計算數(shù)據(jù)、并行任務(wù)。

        一句話版本：

        輸入文件 ->【map任務(wù)】split --> map --> partition --> sort --> combine(寫內(nèi)存緩沖區(qū)) ~~ spill(獨立線程寫磁盤) --> merge --> map輸出結(jié)果 ~~~ 【reduce任務(wù)】copy --> merge -->reduce --> 輸出文件

        M個map任務(wù)開始并處理分配到的多個split數(shù)據(jù)。

        Partition：

        作用：將map階段的輸出分配給相應(yīng)的reducer，partition數(shù) == reducer數(shù)

        默認是HashPartitioner。之后將輸出數(shù)據(jù)寫入內(nèi)存緩沖區(qū)memory buff。

        spill:

        當memory buff的數(shù)據(jù)到達一定閾值時，默認80%，將出發(fā)溢寫spill，先鎖住這80%的內(nèi)存，將這部分數(shù)據(jù)寫進本地磁盤，保存為一個臨時文件。此階段由單獨線程控制，與寫memory buff線程同步進行。

        sort & combine：

        在spill寫文件之前，要對80%的數(shù)據(jù)(格式)進行排序，先partition后key，保證每個分區(qū)內(nèi)key有序，如果job設(shè)置了combine，則再進行combine操作，將 這樣的數(shù)據(jù)合并成，最終輸出一個spill文件。

        多個spill文件通過多路歸并排序，再合并成一個文件，這是map階段的最終輸出。同時還有一個索引文件(file.out.index)，記錄每個partition的起始位置、長度。

        reduce階段：

        copy：多線程并發(fā)從各個mapper上拉屬于本reducer的數(shù)據(jù)塊(根據(jù)partition)，獲取后存入內(nèi)存緩沖區(qū)，使用率達到閾值時寫入磁盤。

        merge：一直啟動，由于不同map的輸出文件是沒有sort的，因此在寫入磁盤前需要merge，知道沒有新的map端數(shù)據(jù)寫入。最后啟動merge對所有磁盤中的數(shù)據(jù)歸并排序，形成一個最終文件作為reducer輸入文件，至此shuffle階段結(jié)束。

        reduce：和combine類似，都是將相同的key合并計算，最終結(jié)果寫到HDFS上。

         好了，對于大數(shù)據(jù)MapReduce的理解就先簡單說這些，學(xué)習(xí)大數(shù)據(jù)不是一朝一夕的事情，對大數(shù)據(jù)分析感興趣的小伙伴小編建議你選擇專業(yè)的大數(shù)據(jù)培訓(xùn)機構(gòu)學(xué)習(xí)，只有跟著專業(yè)的老師學(xué)才能保證你學(xué)到專業(yè)實用的技能。

        小編給想要學(xué)習(xí)大數(shù)據(jù)分析的小伙伴推薦專業(yè)的大數(shù)據(jù)培訓(xùn)機構(gòu)扣丁學(xué)堂，扣丁學(xué)堂不僅有專業(yè)的老師和課程，還有大量的大數(shù)據(jù)視頻教程供學(xué)員觀看學(xué)習(xí)哦?？鄱W(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>