欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

千鋒扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)之Spark和Hadoop架構(gòu)區(qū)別詳解

2019-08-09 15:17:28 5023瀏覽

今天千鋒扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)老師給大家分享一篇關(guān)于Spark和Hadoop的架構(gòu)區(qū)別解讀，首先總的來說，Spark采用更先進(jìn)的架構(gòu)，使得靈活性、易用性、性能等方面都比Hadoop更有優(yōu)勢，有取代Hadoop的趨勢，但其穩(wěn)定性有待進(jìn)一步提高。我總結(jié)，具體表現(xiàn)在如下幾個方面。


Q：Spark和Hadoop的架構(gòu)區(qū)別

A：Hadoop:MapRedcue由Map和Reduce兩個階段，并通過shuffle將兩個階段連接起來的。但是套用MapReduce模型解決問題，不得不將問題分解為若干個有依賴關(guān)系的子問題，每個子問題對應(yīng)一個MapReduce作業(yè)，最終所有這些作業(yè)形成一個DAG。

Spark:是通用的DAG框架，可以將多個有依賴關(guān)系的作業(yè)轉(zhuǎn)換為一個大的DAG。核心思想是將Map和Reduce兩個操作進(jìn)一步拆分為多個元操作，這些元操作可以靈活組合，產(chǎn)生新的操作，并經(jīng)過一些控制程序組裝后形成一個大的DAG作業(yè)。

Q：Spark和Hadoop的中間計算結(jié)果處理區(qū)別

A：Hadoop:在DAG中，由于有多個MapReduce作業(yè)組成，每個作業(yè)都會從HDFS上讀取一次數(shù)據(jù)和寫一次數(shù)據(jù)(默認(rèn)寫三份)，即使這些MapReduce作業(yè)產(chǎn)生的數(shù)據(jù)是中間數(shù)據(jù)也需要寫HDFS。這種表達(dá)作業(yè)依賴關(guān)系的方式比較低效，會浪費(fèi)大量不必要的磁盤和網(wǎng)絡(luò)IO，根本原因是作業(yè)之間產(chǎn)生的數(shù)據(jù)不是直接流動的，而是借助HDFS作為共享數(shù)據(jù)存儲系統(tǒng)。

Spark：在Spark中，使用內(nèi)存(內(nèi)存不夠使用本地磁盤)替代了使用HDFS存儲中間結(jié)果。對于迭代運(yùn)算效率更高。

Q：Spark和Hadoop的操作模型區(qū)別

A：

Hadoop：只提供了Map和Reduce兩種操作所有的作業(yè)都得轉(zhuǎn)換成Map和Reduce的操作。

Spark：提供很多種的數(shù)據(jù)集操作類型比如Transformations包括map,filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多種操作類型，還提供actions操作包括Count,collect,reduce,lookup,save等多種。這些多種多樣的數(shù)據(jù)集操作類型，給開發(fā)上層應(yīng)用的用戶提供了方便。

Q：spark中的RDD是什么，有哪些特性?

A：

Alistofpartitions：一個分區(qū)列表，RDD中的數(shù)據(jù)都存儲在一個分區(qū)列表中

Afunctionforcomputingeachsplit：作用在每一個分區(qū)中的函數(shù)

AlistofdependenciesonotherRDDs：一個RDD依賴于其他多個RDD，這個點(diǎn)很重要，RDD的容錯機(jī)制就是依據(jù)這個特性而來的

Optionally,aPartitionerforkey-valueRDDs(eg:tosaythattheRDDishash-partitioned)：可選的，針對于kv類型的RDD才有這個特性，作用是決定了數(shù)據(jù)的來源以及數(shù)據(jù)處理后的去向

可選項(xiàng)，數(shù)據(jù)本地性，數(shù)據(jù)位置***

Q：概述一下spark中的常用算子區(qū)別(map,mapPartitions，foreach，foreachPatition)

A：map：用于遍歷RDD，將函數(shù)應(yīng)用于每一個元素，返回新的RDD(transformation算子)

foreach：用于遍歷RDD，將函數(shù)應(yīng)用于每一個元素，無返回值(action算子)

mapPatitions：用于遍歷操作RDD中的每一個分區(qū)，返回生成一個新的RDD(transformation算子)

foreachPatition：用于遍歷操作RDD中的每一個分區(qū)，無返回值(action算子)

總結(jié)：一般使用mapPatitions和foreachPatition算子比map和foreach更加高效，推薦使用。

以上就是關(guān)于千鋒扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)之Spark和Hadoop架構(gòu)區(qū)別詳解，想要了解更多關(guān)于大數(shù)據(jù)開發(fā)方面內(nèi)容的小伙伴，請關(guān)注扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)官網(wǎng)、微信等平臺，扣丁學(xué)堂IT職業(yè)在線學(xué)習(xí)教育有專業(yè)的大數(shù)據(jù)講師為您指導(dǎo)，此外扣丁學(xué)堂老師精心推出的大數(shù)據(jù)視頻教程定能讓你快速掌握大數(shù)據(jù)從入門到精通開發(fā)實(shí)戰(zhàn)技能?？鄱W(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

                          

      【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】         【掃碼進(jìn)入Python全棧開發(fā)免費(fèi)公開課】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>