欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)學(xué)習(xí)Hadoop技術(shù)優(yōu)缺點詳解

2018-08-23 09:52:23 1368瀏覽

在現(xiàn)如今，隨著互聯(lián)網(wǎng)時代IT技術(shù)飛速的發(fā)展和進步，目前大數(shù)據(jù)開發(fā)行業(yè)Hadoop應(yīng)運而生，龐大的信息流有了新的處理平臺，今天扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)課程給大家詳細介紹一下關(guān)于Hadoop技術(shù)的優(yōu)缺點，下面我們一起來看一下吧。

1、Hadoop的優(yōu)點

(1)Hadoop具有按位存儲和處理數(shù)據(jù)能力的高可靠性。

(2)Hadoop通過可用的計算機集群分配數(shù)據(jù)，完成存儲和計算任務(wù)，這些集群可以方便地擴展到數(shù)以千計的節(jié)點中，具有高擴展性。

(3)Hadoop能夠在節(jié)點之間進行動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，處理速度非?？?，具有高效性。

(4)Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配，具有高容錯性。

2、Hadoop的缺點

(1)Hadoop不適用于低延遲數(shù)據(jù)訪問。

(2)Hadoop不能高效存儲大量小文件。

(3)Hadoop不支持多用戶寫入并任意修改文件。

3、Hadoop版本簡介：

Hadoop自誕生以來，主要出現(xiàn)了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。HDFS和MapReduce是Hadoop1的核心組件，Hadoop生態(tài)圈里的很多組件都是基于HDFS和MapReduce發(fā)展出來的。在繼Hadoop1之后出現(xiàn)了Hadoop2，Hadoop2在Hadoop1的基礎(chǔ)上做了改進。相比Hadoop1，Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業(yè)使用的是Hadoop2。

Hadoop2的一個公共模塊和三大核心組件組成了四個模塊，簡介如下：

(1)HadoopCommon：為其他Hadoop模塊提供基礎(chǔ)設(shè)施。

(2)HDFS：具有高可靠性、高吞吐量的分布式文件系統(tǒng)。

(3)MapReduce：基于Yarn系統(tǒng)，分布式離線并行計算框架。

(4)Yarn：負責(zé)作業(yè)調(diào)度與集群資源管理的框架。

4.HBASE(分布式列存數(shù)據(jù)庫)

源自Google的Bigtable論文，發(fā)表于2006年11月，HBase是GoogleBigtable克隆版

HBase是一個建立在HDFS之上，面向列的針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。

HBase采用了BigTable的數(shù)據(jù)模型：增強的稀疏排序映射表(Key/Value)，其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時間戳構(gòu)成。

HBase提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問，同時，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲和并行計算完美地結(jié)合在一起。

5.Zookeeper(分布式協(xié)作服務(wù))

源自Google的Chubby論文，發(fā)表于2006年11月，Zookeeper是Chubby克隆版

解決分布式環(huán)境下的數(shù)據(jù)管理問題：統(tǒng)一命名，狀態(tài)同步，集群管理，配置同步等。

Hadoop的許多組件依賴于Zookeeper，它運行在計算機集群上面，用于管理Hadoop操作。

6.HIVE(數(shù)據(jù)倉庫)

由facebook開源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計問題。

Hive定義了一種類似SQL的查詢語言(HQL),將SQL轉(zhuǎn)化為MapReduce任務(wù)在Hadoop上執(zhí)行。通常用于離線分析。

HQL用于運行存儲在Hadoop上的查詢語句，Hive讓不熟悉MapReduce開發(fā)人員也能編寫數(shù)據(jù)查詢語句，然后這些語句被翻譯為Hadoop上面的MapReduce任務(wù)。

以上就是關(guān)于扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)學(xué)習(xí)Hadoop技術(shù)優(yōu)缺點的詳細介紹，希望對于零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)開發(fā)有所幫助，想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢，扣丁學(xué)堂還有與時俱進的課程體系和大量的大數(shù)據(jù)視頻教程讓學(xué)員免費觀看學(xué)習(xí)，想要快速學(xué)習(xí)大數(shù)據(jù)就到由專業(yè)老師授課的扣丁學(xué)堂學(xué)習(xí)吧?？鄱W(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>