2019-04-23 14:52:46 3372瀏覽
Hadoop的應(yīng)有可謂是非常廣泛了，Hadoop是一個開源的高效云計算基礎(chǔ)架構(gòu)平臺，其不僅僅在云計算領(lǐng)域用途廣泛，還可以支撐搜索引擎服務(wù)，本篇文章扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)小編就給讀者分享一下國外Hadoop的應(yīng)用狀況如何，感興趣的小伙伴就隨小編一起來了解一下吧。
1、Yahoo
Yahoo是Hadoop的最大支持者，Yahoo的Hadoop機器總節(jié)點數(shù)目超過42?000個，有超過10萬的核心CPU在運行 Hadoop。最大的一個單Master節(jié)點集群有4500個節(jié)點(每個節(jié)點雙路4核心CPUboxesw，4×1TB磁盤，16GBRAM)。總的集群存儲容量大于350PB，每月提交的作業(yè)數(shù)目超過1000萬個，在Pig中超過60%的Hadoop作業(yè)是使用Pig編寫提交的。
Yahoo的Hadoop應(yīng)用主要包括以下幾個方面：
支持廣告系統(tǒng)
用戶行為分析
支持Web搜索
反垃圾郵件系統(tǒng)
會員反濫用
內(nèi)容敏捷
個性化推薦
同時Pig研究并測試支持超大規(guī)模節(jié)點集群的Hadoop系統(tǒng)。
2、Facebook
Facebook 使用Hadoop存儲內(nèi)部日志與多維數(shù)據(jù)，并以此作為報告、分析和機器學(xué)習(xí)的數(shù)據(jù)源。目前Hadoop集群的機器節(jié)點超過1400臺，共計11?200個核心CPU，超過15PB原始存儲容量，每個商用機器節(jié)點配置了8核CPU，12TB數(shù)據(jù)存儲，主要使用StreamingAPI和JavaAPI編程接口。Facebook同時在Hadoop基礎(chǔ)上建立了一個名為Hive的高級數(shù)據(jù)倉庫框架，Hive已經(jīng)正式成為基于Hadoop的Apache一級項目。此外，還開發(fā)了HDFS上的FUSE實現(xiàn)。
3、A9.com
A9.com為Amazon使用Hadoop構(gòu)建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數(shù)以百萬計的會話。A9.com為Amazon構(gòu)建的索引服務(wù)運行在100節(jié)點左右的Hadoop集群上。
4、Adobe
Adobe主要使用Hadoop及HBase，同于支撐社會服務(wù)計算，以及結(jié)構(gòu)化的數(shù)據(jù)存儲和處理。大約有超過30個節(jié)點的Hadoop-HBase生產(chǎn)集群。 Adobe將數(shù)據(jù)直接持續(xù)地存儲在HBase中，并以HBase作為數(shù)據(jù)源運行MapReduce作業(yè)處理，然后將其運行結(jié)果直接存到HBase或外部系統(tǒng)。Adobe在2008年10月就已經(jīng)將Hadoop和HBase應(yīng)用于生產(chǎn)集群。
5、CbIR
自2008年4月以來，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構(gòu)建圖像處理環(huán)境，用于圖像產(chǎn)品推薦系統(tǒng)。使用Hadoop環(huán)境生成源數(shù)據(jù)庫，便于Web應(yīng)用對其快速訪問，同時使用Hadoop分析用戶行為的相似性。
6、Datagraph
Datagraph 主要使用Hadoop批量處理大量的RDF數(shù)據(jù)集，尤其是利用Hadoop對RDF數(shù)據(jù)建立索引。Datagraph也使用Hadoop為客戶執(zhí)行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數(shù)據(jù)輸入和輸出文件的，并已經(jīng)開發(fā)了一個基于 MapReduce處理RDF數(shù)據(jù)的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發(fā)的RDFgrid框架來處理RDF數(shù)據(jù)，主要使用HadoopStreaming接口。
7、EBay
單集群超過532節(jié)點集群，單節(jié)點8核心CPU，容量超過5.3PB存儲。大量使用的MapReduce的Java接口、Pig、Hive來處理大規(guī)模的數(shù)據(jù)，還使用HBase進行搜索優(yōu)化和研究。
8、IBM
IBM藍云也利用Hadoop來構(gòu)建云基礎(chǔ)設(shè)施。IBM藍云使用的技術(shù)包括：Xen和PowerVM虛擬化的Linux操作系統(tǒng)映像及Hadoop并行工作量調(diào)度，并發(fā)布了自己的Hadoop發(fā)行版及大數(shù)據(jù)解決方案。
9、Last.Fm
Last.Fm主要用于圖表計算、專利申報、日志分析、A/B測試、數(shù)據(jù)集合并等，也使用Hadoop對超過百萬的曲目進行大規(guī)模的音頻特征分析。
節(jié)點超過100臺機器，集群節(jié)點配置雙四核XeonL5520@2.27GHzL5630@2.13GHz，24GB內(nèi)存，8TB(4×2TB)存儲。
10、LinkedIn
LinkedIn有多種硬件配置的Hadoop集群，主要集群配置如下：
800節(jié)點集群，基于Westmere的惠普SL170X與2×4的核心，24GB內(nèi)存，6×2TBSATA。
1900節(jié)點集群，基于Westmere的超微-HX8DTT，與2×6的核心，24GB內(nèi)存，6×2TBSATA。
1400節(jié)點集群，基于SandyBridge超微與2×6的核心，32GB內(nèi)存，6×2TBSATA。
使用的軟件如下：
操作系統(tǒng)使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用于作業(yè)調(diào)度。
Hive、Avro、Kafka等。
11、MobileAnalytic.TV
主要使用Hadoop應(yīng)用在并行化算法領(lǐng)域，涉及的MapReduce應(yīng)用算法如下。
信息檢索和分析。
機器生成的內(nèi)容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括：
移動社交網(wǎng)絡(luò)。
網(wǎng)絡(luò)爬蟲。
文本到語音轉(zhuǎn)化。
音頻和視頻自動生成。
12、Openstat
主要利用Hadoop定制一個網(wǎng)絡(luò)日志分析并生成報告，其生產(chǎn)環(huán)境下超過50個節(jié)點集群(雙路四核Xeon處理器，16GB的RAM，4～6硬盤驅(qū)動器)，還有兩個相對小的集群用于個性化分析，每天處理約500萬的事件，每月15億美元的交易數(shù)據(jù)，集群每天產(chǎn)生大約25GB的報告。
使用的技術(shù)主要包括：CDH、Cascading、Janino。
13、Quantcast
3000個CPU核心，3500TB存儲，每日處理1PB以上的數(shù)據(jù)，使用完全自定義的數(shù)據(jù)路徑和排序器的Hadoop調(diào)度器，對KFS文件系統(tǒng)有突出貢獻。
14、Rapleaf
超過80個節(jié)點的集群(每個節(jié)點有2個雙核CPU，2TB×8存儲，16GBRAM內(nèi)存);主要使用Hadoop、Hive處理Web上關(guān)聯(lián)到個人的數(shù)據(jù)，并引入Cascading簡化數(shù)據(jù)流穿過各種處理階段。
15、WorldLingo
硬件上超過44臺服務(wù)器(每臺有2個雙核CPU，2TB存儲，8GB內(nèi)存)，每臺服務(wù)器均運行Xen，啟動一個虛擬機實例運行Hadoop/HBase，再啟動一個虛擬機實例運行Web或應(yīng)用程序服務(wù)器，即有88臺可用的虛擬機;運行兩套獨立的Hadoop/HBase機群，它們各自擁有22個節(jié)點。 Hadoop主要用于運行HBase和MapReduce作業(yè)，掃描HBase的數(shù)據(jù)表，執(zhí)行特定的任務(wù)。HBase作為一種可擴展的、快速的存儲后端，用于保存數(shù)以百萬的文檔。目前存儲了1200萬篇文檔，近期的目標是存儲4.5億篇文檔。
16、格拉斯哥大學(xué)的TerrierTeam
超過30個節(jié)點的實驗集群(每節(jié)點配置XeonQuadCore2.4GHz，4GB內(nèi)存，1TB存儲)。使用Hadoop促進信息檢索研究和試驗，特別是用于TREC，用于TerrierIR平臺。Terrier的開源發(fā)行版中包含了基于HadoopMapReduce的大規(guī)模分布式索引。
17、內(nèi)布拉斯加大學(xué)的HollandComputingCenter
運行一個中等規(guī)模的Hadoop機群(共計1.6PB存儲)用于存儲和提供物理數(shù)據(jù)，以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid，CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數(shù)據(jù)，并以更高的速度處理數(shù)據(jù)的文件系統(tǒng)的支持。
18、VisibleMeasures
將Hadoop作為可擴展數(shù)據(jù)流水線的一個組件，最終用于VisibleSuite等產(chǎn)品。使用Hadoop匯總、存儲和分析與網(wǎng)絡(luò)視頻觀眾收看行為相關(guān)的數(shù)據(jù)流。目前的網(wǎng)格包括超過128個CPU核心，超過100TB的存儲，并計劃大幅擴容。
想要了解更多關(guān)于大數(shù)據(jù)開發(fā)方面內(nèi)容的小伙伴，請關(guān)注扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)官網(wǎng)、微信等平臺，扣丁學(xué)堂IT職業(yè)在線學(xué)習(xí)教育有專業(yè)的大數(shù)據(jù)講師為您指導(dǎo)，此外扣丁學(xué)堂老師精心推出的大數(shù)據(jù)視頻教程定能讓你快速掌握大數(shù)據(jù)從入門到精通開發(fā)實戰(zhàn)技能?？鄱W(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。
【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】 【掃碼進入Python全棧開發(fā)免費公開課】
查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>
全國免費咨詢熱線
郵箱：codingke@1000phone.com
官方群：148715490
返回頂部