欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

大數(shù)據(jù)分析教程Hadoop生態(tài)新增列式存儲(chǔ)系統(tǒng)Kudu

2018-04-24 14:06:17 2243瀏覽

        Hadoop對(duì)與喜歡大數(shù)據(jù)或者是想在參加大數(shù)據(jù)培訓(xùn)以及正在學(xué)習(xí)大數(shù)據(jù)開(kāi)發(fā)的小伙伴不算陌生，但是Hadoop生態(tài)新增列式存儲(chǔ)系統(tǒng)Kudu有多少的小伙伴了解呢?本編文章扣丁學(xué)堂小編就帶大家看一下大數(shù)據(jù)分析教程Hadoop生態(tài)新增列式存儲(chǔ)系統(tǒng)Kudu。

        Hadoop生態(tài)系統(tǒng)發(fā)展到現(xiàn)在，存儲(chǔ)層主要由HDFS和HBase兩個(gè)系統(tǒng)把持著，一直沒(méi)有太大突破。在追求高吞吐的批處理場(chǎng)景下，我們選用HDFS，在追求低延遲，有隨機(jī)讀寫(xiě)需求的場(chǎng)景下，我們選用HBase，那么是否存在一種系統(tǒng)，能結(jié)合兩個(gè)系統(tǒng)優(yōu)點(diǎn)，同時(shí)支持高吞吐率和低延遲呢?

        有人嘗試修改HBase內(nèi)核構(gòu)造這樣的系統(tǒng)，即保留HBase的數(shù)據(jù)模型，而將其底層存儲(chǔ)部分改為純列式存儲(chǔ)(目前HBase只能算是列簇式存儲(chǔ)引擎)，但這種修改難度較大。Kudu的出現(xiàn)有望解決這一難題。

        Kudu是Cloudera開(kāi)源的列式存儲(chǔ)引擎，具有以下幾個(gè)特點(diǎn)：

        C++語(yǔ)言開(kāi)發(fā)

        高效處理類OLAP負(fù)載

        與MapReduce，Spark以及Hadoop生態(tài)系統(tǒng)中其他組件進(jìn)行友好集成

        可與Cloudera Impala集成，替代目前Impala常用的HDFS+Parquet組合

        靈活的一致性模型

        順序?qū)懞碗S機(jī)寫(xiě)并存的場(chǎng)景下，仍能達(dá)到良好的性能

        高可用，使用Raft協(xié)議保證數(shù)據(jù)高可靠存儲(chǔ)

        結(jié)構(gòu)化數(shù)據(jù)模型

        Kudu的出現(xiàn)，有望解決目前Hadoop生態(tài)系統(tǒng)難以解決的一大類問(wèn)題，比如：

        流式實(shí)時(shí)計(jì)算結(jié)果的更新

        時(shí)間序列相關(guān)應(yīng)用，具體要求有：

        查詢海量歷史數(shù)據(jù)

        查詢個(gè)體數(shù)據(jù)，并要求快速返回

        預(yù)測(cè)模型中，周期性更新模型，并根據(jù)歷史數(shù)據(jù)快速做出決策

        Kudu架構(gòu)如下圖所示：

        目前Kudu處于beta版，仍在不斷開(kāi)發(fā)迭代中，不久將提交并成為Apache Software Foundation incubator，據(jù)有關(guān)資料介紹，國(guó)內(nèi)小米參與了kudu的開(kāi)發(fā)，并做出不少貢獻(xiàn)。據(jù)小米首席架構(gòu)師介紹：“作為Hadoop 生態(tài)系統(tǒng)的長(zhǎng)期用戶和貢獻(xiàn)者，小米在Kudu 項(xiàng)目初期就開(kāi)始了和Cloudera 的合作開(kāi)發(fā)，并已經(jīng)將Kudu 獨(dú)特的實(shí)時(shí)數(shù)據(jù)分析功能用到了小米業(yè)務(wù)中。”

        由此可見(jiàn)學(xué)習(xí)Kudu是非常必要的事情，想要學(xué)好大數(shù)據(jù)Hadoop生態(tài)新增列式存儲(chǔ)系統(tǒng)Kudu的小伙伴一定要選擇專業(yè)的大數(shù)據(jù)培訓(xùn)機(jī)構(gòu)進(jìn)行學(xué)習(xí)?？鄱W(xué)堂大數(shù)據(jù)在線學(xué)習(xí)不僅有專業(yè)的老師授課，還有與時(shí)俱進(jìn)的課程體系，更有大量的大數(shù)據(jù)在線視頻供學(xué)員觀看學(xué)習(xí)，定能讓你快速學(xué)習(xí)，輕松就業(yè)，通過(guò)短短幾個(gè)月的時(shí)間學(xué)有所成。扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>