欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂盤(pán)點(diǎn)關(guān)于大數(shù)據(jù)技術(shù)Hbase和Hive詳解

2017-12-25 15:45:52 1441瀏覽

       今天扣丁學(xué)堂給大家介紹一下關(guān)于零基礎(chǔ)學(xué)習(xí)大數(shù)據(jù)視頻教程之HBASE和HIVE是多么重要的技術(shù)，那么兩者有什么區(qū)別呢?那么大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)有哪些?下面我們一起來(lái)看一下吧。

       ApacheHive是一個(gè)構(gòu)建在hadoop基礎(chǔ)設(shè)施之上的數(shù)據(jù)倉(cāng)庫(kù)。通過(guò)Hive可以使用HQL語(yǔ)言查詢(xún)存放在HDFS上的數(shù)據(jù)。HQL是一種類(lèi)SQL語(yǔ)言，這種語(yǔ)言最終被轉(zhuǎn)化為Map/Reduce.雖然Hive提供了SQL查詢(xún)功能，但是Hive不能夠進(jìn)行交互查詢(xún)–因?yàn)樗荒軌蛟贖aoop上批量的執(zhí)行Hadoop。

       ApacheHBase是一種Key/Value系統(tǒng)，它運(yùn)行在HDFS之上。和Hive不一樣，Hbase的能夠在它的數(shù)據(jù)庫(kù)上實(shí)時(shí)運(yùn)行，而不是運(yùn)行MapReduce任務(wù)。Hive被分區(qū)為表格，表格又被進(jìn)一步分割為列簇。列簇必須使用schema定義，列簇將某一類(lèi)型列集合起來(lái)(列不要求schema定義)。例如，“message”列簇可能包含：“to”，”from”“date”，“subject”，和”body”。每一個(gè)key/value對(duì)在Hbase中被定義為一個(gè)cell，每一個(gè)key由row-key，列簇、列和時(shí)間戳。在Hbase中，行是key/value映射的集合，這個(gè)映射通過(guò)row-key來(lái)唯一標(biāo)識(shí)。Hbase利用Hadoop的基礎(chǔ)設(shè)施，可以利用通用的設(shè)備進(jìn)行水平的擴(kuò)展。

       兩者的特點(diǎn)

       Hive幫助熟悉SQL的人運(yùn)行MapReduce任務(wù)。因?yàn)樗荍DBC兼容的，同時(shí)，它也能夠和現(xiàn)存的SQL工具整合在一起。運(yùn)行Hive查詢(xún)會(huì)花費(fèi)很長(zhǎng)時(shí)間，因?yàn)樗鼤?huì)默認(rèn)遍歷表中所有的數(shù)據(jù)。雖然有這樣的缺點(diǎn)，一次遍歷的數(shù)據(jù)量可以通過(guò)Hive的分區(qū)機(jī)制來(lái)控制。分區(qū)允許在數(shù)據(jù)集上運(yùn)行過(guò)濾查詢(xún)，這些數(shù)據(jù)集存儲(chǔ)在不同的文件夾內(nèi)，查詢(xún)的時(shí)候只遍歷指定文件夾(分區(qū))中的數(shù)據(jù)。這種機(jī)制可以用來(lái)，例如，只處理在某一個(gè)時(shí)間范圍內(nèi)的文件，只要這些文件名中包括了時(shí)間格式。

       HBase通過(guò)存儲(chǔ)key/value來(lái)工作。它支持四種主要的操作：增加或者更新行，查看一個(gè)范圍內(nèi)的cell，獲取指定的行，刪除指定的行、列或者是列的版本。版本信息用來(lái)獲取歷史數(shù)據(jù)(每一行的歷史數(shù)據(jù)可以被刪除，然后通過(guò)Hbasecompactions就可以釋放出空間)。雖然HBase包括表格，但是schema僅僅被表格和列簇所要求，列不需要schema。Hbase的表格包括增加/計(jì)數(shù)功能。

       限制

       Hive目前不支持更新操作。另外，由于hive在hadoop上運(yùn)行批量操作，它需要花費(fèi)很長(zhǎng)的時(shí)間，通常是幾分鐘到幾個(gè)小時(shí)才可以獲取到查詢(xún)的結(jié)果。Hive必須提供預(yù)先定義好的schema將文件和目錄映射到列，并且Hive與ACID不兼容。

       HBase查詢(xún)是通過(guò)特定的語(yǔ)言來(lái)編寫(xiě)的，這種語(yǔ)言需要重新學(xué)習(xí)。類(lèi)SQL的功能可以通過(guò)ApachePhonenix實(shí)現(xiàn)，但這是以必須提供schema為代價(jià)的。另外，Hbase也并不是兼容所有的ACID特性，雖然它支持某些特性。最后但不是最重要的–為了運(yùn)行Hbase，Zookeeper是必須的，zookeeper是一個(gè)用來(lái)進(jìn)行分布式協(xié)調(diào)的服務(wù)，這些服務(wù)包括配置服務(wù)，維護(hù)元信息和命名空間服務(wù)。

       應(yīng)用場(chǎng)景

       Hive適合用來(lái)對(duì)一段時(shí)間內(nèi)的數(shù)據(jù)進(jìn)行分析查詢(xún)，例如，用來(lái)計(jì)算趨勢(shì)或者網(wǎng)站的日志。Hive不應(yīng)該用來(lái)進(jìn)行實(shí)時(shí)的查詢(xún)。因?yàn)樗枰荛L(zhǎng)時(shí)間才可以返回結(jié)果。
       
       Hbase非常適合用來(lái)進(jìn)行大數(shù)據(jù)的實(shí)時(shí)查詢(xún)。Facebook用Hbase進(jìn)行消息和實(shí)時(shí)的分析。它也可以用來(lái)統(tǒng)計(jì)Facebook的連接數(shù)。

       Hive和Hbase是兩種基于Hadoop的不同大數(shù)據(jù)技術(shù)–Hive是一種類(lèi)SQL的引擎，并且運(yùn)行MapReduce任務(wù)，Hbase是一種在Hadoop之上的NoSQL的Key/vale數(shù)據(jù)庫(kù)。當(dāng)然，這兩種工具是可以同時(shí)使用的。就像用Google來(lái)搜索，用FaceBook進(jìn)行社交一樣，Hive可以用來(lái)進(jìn)行統(tǒng)計(jì)查詢(xún)，HBase可以用來(lái)進(jìn)行實(shí)時(shí)查詢(xún)，數(shù)據(jù)也可以從Hive寫(xiě)到Hbase，設(shè)置再?gòu)腍base寫(xiě)回Hive。

       最后想學(xué)大數(shù)據(jù)的朋友可以選擇扣丁學(xué)堂進(jìn)行學(xué)習(xí)，扣丁學(xué)堂是線(xiàn)上學(xué)習(xí)，有老師全程教導(dǎo)，既省時(shí)又省力?？鄱W(xué)堂有大量的大數(shù)據(jù)視頻教程供學(xué)員觀看學(xué)習(xí)，想要大數(shù)據(jù)視頻教程的小伙伴快聯(lián)系咨詢(xún)老師領(lǐng)取吧。扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)開(kāi)發(fā)資訊”的相關(guān)文章>>