欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)開(kāi)發(fā)淺談如何區(qū)分Hive與HBase

2018-09-07 10:00:46 1266瀏覽

今天扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)老師給大家介紹一下關(guān)于剛接觸大數(shù)據(jù)的用戶(hù)來(lái)說(shuō)，要想?yún)^(qū)分Hive與HBase是有一定難度的。下面是扣丁學(xué)堂小編給大家整理的關(guān)于從其各自的定義、特點(diǎn)、限制、應(yīng)用場(chǎng)景等角度來(lái)進(jìn)行分析，以幫助大家更好的理解、區(qū)分Hive和HBase。

Hive是什么？

ApacheHive是一個(gè)構(gòu)建于Hadoop(分布式系統(tǒng)基礎(chǔ)架構(gòu))頂層的數(shù)據(jù)倉(cāng)庫(kù)，注意這里不是數(shù)據(jù)庫(kù)。Hive可以看作是用戶(hù)編程接口，它本身不存儲(chǔ)和計(jì)算數(shù)據(jù)；它依賴(lài)于HDFS(Hadoop分布式文件系統(tǒng))和MapReduce(一種編程模型，映射與化簡(jiǎn)；用于大數(shù)據(jù)并行運(yùn)算)。其對(duì)HDFS的操作類(lèi)似于SQL—名為HiveQL，簡(jiǎn)稱(chēng)HQL，它提供了豐富的SQL查詢(xún)方式來(lái)分析存儲(chǔ)在HDFS中的數(shù)據(jù)；HQL經(jīng)過(guò)編譯轉(zhuǎn)MapReduce作業(yè)后通過(guò)自己的SQL去查詢(xún)分析需要的內(nèi)容；這樣一來(lái)，即使不熟悉MapReduce的用戶(hù)也可以很方便地利用SQL語(yǔ)言查詢(xún)、匯總、分析數(shù)據(jù)，降低學(xué)習(xí)成本，提高工作效率。而MapReduce開(kāi)發(fā)人員可以把己寫(xiě)的mapper和reducer作為插件來(lái)支持Hive做更復(fù)雜的數(shù)據(jù)分析。

HBase是什么？

ApacheHBase是運(yùn)行于HDFS頂層的NoSQL(NotOnlySQL，泛指非關(guān)系型的數(shù)據(jù)庫(kù))數(shù)據(jù)庫(kù)系統(tǒng)。區(qū)別于Hive，HBase具備隨即讀寫(xiě)功能，是一種面向列的數(shù)據(jù)庫(kù)。HBase以表的形式存儲(chǔ)數(shù)據(jù)，表由行和列組成，列劃分為若干個(gè)列簇(rowfamily)。例如：一個(gè)消息列簇包含了發(fā)送者、接受者、發(fā)送日期、消息標(biāo)題以及消息內(nèi)容。每一對(duì)鍵值在HBase會(huì)被定義為一個(gè)Cell，其中，鍵由row-key(行鍵)，列簇，列，時(shí)間戳構(gòu)成。而在HBase中每一行代表由行鍵標(biāo)識(shí)的鍵值映射組合。Hbase目標(biāo)主要依靠橫向擴(kuò)展，通過(guò)不斷增加廉價(jià)的商用服務(wù)器，來(lái)增加計(jì)算和存儲(chǔ)能力。

特性

遵從JDBC的Hive不但可以讓具SQL知識(shí)的用戶(hù)來(lái)間接執(zhí)行MapReduce作業(yè)，同時(shí)里面也整合了目前基于SQL的操作工具。不過(guò)，由于默認(rèn)的數(shù)據(jù)讀取是全表遍歷的，其時(shí)間的耗費(fèi)也不可避免地相對(duì)較大。盡管如此，不盡相同的Hive分區(qū)方法，其遍歷讀取的數(shù)據(jù)量也是能夠有所限制的。Hive分區(qū)允許對(duì)存儲(chǔ)在獨(dú)立文件上的數(shù)據(jù)進(jìn)行篩選查詢(xún)，返回的是篩選后的數(shù)據(jù)。例如針對(duì)日期的日志文件訪(fǎng)問(wèn)，前提是該類(lèi)文件的文件名包含日期信息。

HBase以鍵值對(duì)的形式儲(chǔ)存數(shù)據(jù)。其包含了4種主要的數(shù)據(jù)操作方式:

1.添加或更新數(shù)據(jù)行

2.掃描獲取某范圍內(nèi)的cells

3.為某一具體數(shù)據(jù)行返回對(duì)應(yīng)的cells

4.從數(shù)據(jù)表中刪除數(shù)據(jù)行/列，或列的描述信息

列信息可用于獲取數(shù)據(jù)變動(dòng)前的取值（透過(guò)HBase壓縮策略可以刪除列信息歷史記錄來(lái)釋放存儲(chǔ)空間）。

限制

Hive不支持常規(guī)的SQL更新語(yǔ)句，如：數(shù)據(jù)插入，更新，刪除。因?yàn)槠鋵?duì)數(shù)據(jù)的操作是針對(duì)整個(gè)數(shù)據(jù)表的。同時(shí)該特點(diǎn)也使得數(shù)據(jù)查詢(xún)用時(shí)以數(shù)分鐘甚至數(shù)小時(shí)來(lái)進(jìn)行計(jì)算。此外，其MapReduce轉(zhuǎn)換過(guò)程必須遵從預(yù)定義的轉(zhuǎn)換規(guī)則。

HBase的數(shù)據(jù)查詢(xún)是有一套屬于自己類(lèi)似SQL的操作語(yǔ)言的，這個(gè)需要一定的學(xué)習(xí)來(lái)掌握。此外，要運(yùn)行HBase，ZooKeeper是需要配備的。ZooKeeper是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。

應(yīng)用舉例

Hive適用于離線(xiàn)網(wǎng)絡(luò)日志等數(shù)據(jù)量大、靜態(tài)的數(shù)據(jù)查詢(xún)。例如：用戶(hù)消費(fèi)行為記錄，網(wǎng)站訪(fǎng)問(wèn)足跡等。但是不適用于聯(lián)機(jī)實(shí)時(shí)在線(xiàn)查詢(xún)的場(chǎng)合。

HBase能在大數(shù)據(jù)聯(lián)機(jī)實(shí)時(shí)查詢(xún)場(chǎng)合大展身手。例如：Fackbook就利用其對(duì)用戶(hù)間的傳送的消息進(jìn)行聯(lián)機(jī)實(shí)時(shí)分析。

以上就是關(guān)于扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)之區(qū)分Hive與HBase的詳細(xì)介紹，希望對(duì)大家學(xué)習(xí)大數(shù)據(jù)開(kāi)發(fā)有所幫助，最后扣丁學(xué)堂在線(xiàn)為零基礎(chǔ)學(xué)員提供從入門(mén)到精通學(xué)習(xí)路線(xiàn)圖，包含Linux&&Hadoop生態(tài)體系、大數(shù)據(jù)計(jì)算框架體系、云計(jì)算體系、機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)等內(nèi)容，扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】 

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>