扣丁學(xué)堂手把手教你如何入門Hadoop編程
2018-01-10 13:42:23
1470瀏覽
雖然軟件組件構(gòu)成的Hadoop生態(tài)系統(tǒng)堆棧是開源技術(shù)，但是采用付費(fèi)訂閱使用其供應(yīng)商的商業(yè)Hadoop平臺(tái)會(huì)為企業(yè)帶來許多好處。例如，訂閱可以提供技術(shù)支持和培訓(xùn)，以及訪問那些不提供給開源社區(qū)的企業(yè)功能。而供應(yīng)商的Hadoop的企業(yè)版提供了Hadoop生態(tài)系統(tǒng)協(xié)議堆棧的核心部件，主要區(qū)別是這些廠商提供超越公開訪問的功能。我們?yōu)榱四軌蚋M(jìn)一步研究Hadoop的產(chǎn)品分布將如何有針對性地滿足用戶組織的業(yè)務(wù)需求。將總結(jié)出以下幾點(diǎn)供大家借鑒與學(xué)習(xí)。
Hadoop的部署模型
大多數(shù)Hadoop廠商支持混合部署的方法，但是只有來自微軟和亞馬遜網(wǎng)絡(luò)服務(wù)公司(AWS)的Hadoop產(chǎn)品在云環(huán)境完全部署。微軟公司運(yùn)行在Azure云基礎(chǔ)設(shè)施的Hadoop產(chǎn)品名為HDInsight，是一個(gè)基于Hortonworks數(shù)據(jù)平臺(tái)(HDP)托管服務(wù)，這與Pivotal公司代理銷售Hadoop版本相同。AWS公司使用亞馬遜彈性云計(jì)算平臺(tái)，支持AmazonElasticMapReduce(EMR)的S3數(shù)據(jù)存儲(chǔ)，其Hadoop發(fā)布版捆綁了其他各種工具和技術(shù)。此外，亞馬遜EMR還提供使用MAPR的Hadoop發(fā)行版，這并不是亞馬遜公司自己的產(chǎn)品。
云部署模型提供了一個(gè)快速而省力的方式來配置Hadoop集群，微軟和AWS都使用戶能夠調(diào)整需求他們的環(huán)境來處理動(dòng)態(tài)計(jì)算和存儲(chǔ)能力的需求。這種彈性可以滿足理想的組織對計(jì)算和存儲(chǔ)的需求，可能會(huì)隨時(shí)間變化。
而其他主要的Hadoop廠商，例如Cloudera，Hortonworks，IBM和MAPR都提供了基于云的部署，他們并不局限于這一模式。它們允許用戶下載，可以在本地或私有云部署在各種服務(wù)器，包括Linux和Windows系統(tǒng)的版本。此外，Cloudera公司和MAPR公司還提供了可以運(yùn)行在虛擬環(huán)境中的沙箱版本，例如VMware。
底線：考慮你的組織是否更傾向于管理其內(nèi)部的大數(shù)據(jù)環(huán)境或使用托管服務(wù)。在內(nèi)部管理監(jiān)督意味著軟件環(huán)境的維護(hù)和系統(tǒng)的連續(xù)監(jiān)測，即環(huán)境是否對處所的物理平臺(tái)或使用基于云的服務(wù)安置。如果你有經(jīng)驗(yàn)豐富的工作人員，并知道適當(dāng)?shù)南到y(tǒng)大小特征，或者如果安全問題權(quán)證管理一個(gè)可信的防火墻背后的系統(tǒng)，其內(nèi)部部署選項(xiàng)可能是可取的。另一種方法是使用一個(gè)供應(yīng)商提供的服務(wù)平臺(tái)，這將有助于配置，啟動(dòng)，管理和監(jiān)控你的操作。如果你不知道你需要什么規(guī)模的系統(tǒng)，或期望系統(tǒng)規(guī)模將增長基礎(chǔ)上的需求不斷增加，這可能是可取的。而使用云計(jì)算和托管服務(wù)工作的好處是，它會(huì)為存儲(chǔ)和處理資源提供必要的彈性。
頂端的Hadoop發(fā)行版的企業(yè)級(jí)功能
三個(gè)獨(dú)立的Hadoop供應(yīng)商的開發(fā)方法有一些明顯的差異。Cloudera公司往往增強(qiáng)了Hadoop的核心與內(nèi)部開發(fā)的插件技術(shù)，例如，基于Hadoop的ImpalaSQL查詢引擎;Cloudera的Manager管理工具;以及Kudu，這是在Hadoop分布式文件系統(tǒng)(HDFS)運(yùn)行的另一個(gè)用于實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)應(yīng)用。通常，企業(yè)在進(jìn)行初步開發(fā)工作后會(huì)開放源代碼等技術(shù)。另一方面，Hortonworks公司促進(jìn)其在ApacheHadoop社區(qū)軟件的100%創(chuàng)新，并沒有專有擴(kuò)展。再加上其附加技術(shù)，如從開源項(xiàng)目一開始推出的Ambari配置和管理軟件。另外，Hortonworks公司已經(jīng)與IBM等公司聯(lián)合起來，形成開放式數(shù)據(jù)平臺(tái)計(jì)劃(ODPi)，致力于建立一個(gè)共同的核心技術(shù)規(guī)范的Hadoop平臺(tái)的組織。ODPi成員聲稱，這將提高互操作性，并減少供應(yīng)商的鎖定。
MAPR公司開發(fā)了自己的文件系統(tǒng)MAPR-FS，而沒有使用HDFS，另外也開發(fā)了自己的NoSQL數(shù)據(jù)庫MAPR-DB和其它基礎(chǔ)技術(shù)，為了支持大型集群部署企業(yè)級(jí)的性能等基礎(chǔ)技術(shù)的需求，MapR也越來越注重實(shí)時(shí)流處理應(yīng)用。該公司在2015年底將其產(chǎn)品為MAPR融合數(shù)據(jù)平臺(tái)，其結(jié)合了MAPRHadoop文件系統(tǒng)和數(shù)據(jù)庫和ApacheSpark處理引擎，以及實(shí)施批處理和實(shí)時(shí)任務(wù)的稱之為MAPR流的新事件流的技術(shù)。
與此同時(shí)，IBM公司對ApacheHadoop發(fā)布版BigInsights采用分析型戰(zhàn)略，以保持其廣泛的銷售商業(yè)智能和先進(jìn)的分析工具一致。IBM公司提供不同的附加價(jià)值與企業(yè)級(jí)功能模塊，這是BigInsights的一部分，其中包括獨(dú)立的分析師和數(shù)據(jù)科學(xué)家模塊。其分析模塊提供了聯(lián)合SQL訪問Hadoop和其他大數(shù)據(jù)源的SQL。BigSheets是分析師模塊的一部分，允許用戶瀏覽，轉(zhuǎn)換和存儲(chǔ)在Hadoop的大數(shù)據(jù)集，使用直觀的電子表格的界面實(shí)現(xiàn)可視化。BigInsights數(shù)據(jù)科學(xué)家模塊包括一個(gè)R語言版本，文本分析，SystemML機(jī)器學(xué)習(xí)庫。
而其云平臺(tái)是亞馬遜AWS的主要電子名片，它也提供了用于監(jiān)控和管理集群工具，使其成為應(yīng)用和集群互操作性Hadoop的服務(wù)的一部分。亞馬遜電子病歷收集用于跟蹤進(jìn)度和衡量集群的健康指標(biāo)。集群健康指標(biāo)可以通過命令行界面，軟件開發(fā)工具包或API來訪問，并且可以通過電子病歷的管理控制臺(tái)來查看。此外，亞馬遜的CloudWatch的監(jiān)控服務(wù)可以一起使用，其實(shí)施了Apache神經(jīng)節(jié)性能監(jiān)控組件的檢查集群，并設(shè)置了這些指標(biāo)觸發(fā)的事件警報(bào)。
底線：選擇一個(gè)供應(yīng)商，提供作為其企業(yè)訂閱的一部分增值組件可能意味著致力于一個(gè)長期的合作關(guān)系。尤其是這些組件是與其標(biāo)準(zhǔn)協(xié)議棧緊密集成的。如果你擔(dān)心廠商鎖定，請考慮參與OPDi的廠商。
Hadoop供應(yīng)商產(chǎn)品的安全和保護(hù)
盡管擴(kuò)大了使用開源軟件的企業(yè)級(jí)應(yīng)用，但人們對其生產(chǎn)使用的安全和保護(hù)方面仍然存在著懷疑，Hadoop的一些廠商已經(jīng)采取措施來減輕一些這方面的焦慮。
例如，Hortonworks已經(jīng)與其他供應(yīng)商和客戶聯(lián)手推出針對Hadoop的數(shù)據(jù)治理計(jì)劃，最初的重點(diǎn)是阿特拉斯管理共享元數(shù)據(jù)的新的Apache項(xiàng)目、數(shù)據(jù)分類、審計(jì)、安全和策略管理數(shù)據(jù)保護(hù)。它還致力于整合阿特拉斯與Ranger，一個(gè)用于執(zhí)行數(shù)據(jù)訪問策略的開放源碼的安全工具Cloudera提供工具，讓用戶能夠管理數(shù)據(jù)安全和CDH平臺(tái)治理，支持一個(gè)組織的需要，滿足法律和法規(guī)要求。此外，Cloudera，Hortonworks，MAPR和IBM都提供數(shù)據(jù)加密的功能。其中Hortonworks和Cloudera支持靜止數(shù)據(jù)加密。MAPR提供集群內(nèi)部的數(shù)據(jù)傳輸加密功能，IBM公司提供的InfoSphereGuardium產(chǎn)品，可以執(zhí)行數(shù)據(jù)隱私以及提供加密和保密數(shù)據(jù)屏蔽。
底線：Hadoop供應(yīng)商提供不同的身份驗(yàn)證方法，其中包括基于角色的訪問控制、安全策略管理、數(shù)據(jù)加密。仔細(xì)指定你的安全和保護(hù)要求，以及審查每個(gè)供應(yīng)商如何解決這些需求的辦法。
為較高級(jí)的Hadoop發(fā)行版支持訂閱
開源軟件模型的基本價(jià)值主張是系統(tǒng)部署的捆綁和簡化，支持和服務(wù)。部署Hadoop需要下載的一種替代源代碼來自開放源代碼庫中的每個(gè)組件，然后構(gòu)建和所有部件集成在一起。這需要技巧和努力，而且很可能是一個(gè)反復(fù)的過程。開源廠商已經(jīng)進(jìn)行了很大的改進(jìn)，提供預(yù)先配置的發(fā)布版，并維護(hù)了的整合堆棧。
Hadoop發(fā)行版產(chǎn)品哪個(gè)能滿足組織的需求?
供應(yīng)商的區(qū)別在很大程度上是他們的支持模式。Hortonworks公司提供幾種模式，其企業(yè)版提供全天候支持和更短的響應(yīng)時(shí)間，這取決于問題的嚴(yán)重程度。Cloudera的提供與企業(yè)許可證持有者一小時(shí)和全天候支持選項(xiàng)的支持訂閱。它還提供了Flex或數(shù)據(jù)中心版的許可證，其中包括一個(gè)為組織提供關(guān)鍵問題的高級(jí)支持的15分鐘的響應(yīng)時(shí)間。
所有AWS賬戶包括基本的支持，提供全天候的客戶服務(wù)，獲得了社區(qū)論壇和文檔，以及訪問AWS值得信賴的顧問應(yīng)用。開發(fā)者支持包括對于嚴(yán)重的問題的一小時(shí)響應(yīng)，對于大多數(shù)問題，則提供12或24小時(shí)的響應(yīng)時(shí)間。企業(yè)級(jí)支持提供全天候電子郵件訪問云支持工程師，以及根據(jù)嚴(yán)重程度縮短響應(yīng)時(shí)間。企業(yè)級(jí)對于關(guān)鍵問題的支持增加了不到15分鐘的響應(yīng)時(shí)間，以及專門的技術(shù)客戶經(jīng)理服務(wù)，再加上額外的啟動(dòng)和運(yùn)行支持的好處。
MAPR提供高級(jí)支持服務(wù)，增加了Web和電子郵件支持，自定義門戶，培訓(xùn)，緊急的缺陷修復(fù)，后續(xù)的太陽支持和全天候電話支持的優(yōu)先問題。該公司的高級(jí)支持增加了門票和接觸支持單點(diǎn)的優(yōu)先級(jí)隊(duì)列，并提供現(xiàn)場或遠(yuǎn)程專用支持選項(xiàng)IBM提供支持的組織購買授權(quán)的組件，也被稱為價(jià)值添加模塊，擴(kuò)展其開放平臺(tái)的ApacheHadoop。
對于大數(shù)據(jù)中的Hadoop大概都有所系統(tǒng)的了解與掌握了，那么如果有學(xué)生想學(xué)大數(shù)據(jù)的朋友可以選擇扣丁學(xué)堂進(jìn)行學(xué)習(xí)，扣丁學(xué)堂是在線大數(shù)據(jù)培訓(xùn)學(xué)習(xí)，有老師全程教導(dǎo)，既省時(shí)又省力。并且還有大量高質(zhì)量大數(shù)據(jù)視頻教程供學(xué)員觀看學(xué)習(xí)，手把手帶你進(jìn)入大數(shù)據(jù)世界，想要大數(shù)據(jù)視頻教程的小伙伴快聯(lián)系咨詢老師領(lǐng)取吧。扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。
關(guān)注微信公眾號(hào)獲取更多的學(xué)習(xí)資料
查看更多關(guān)于“大數(shù)據(jù)開發(fā)資訊”的相關(guān)文章>>
標(biāo)簽:
大數(shù)據(jù)培訓(xùn)
大數(shù)據(jù)視頻教程
大數(shù)據(jù)開發(fā)工程師
返回頂部