2017-08-17 15:37:11 1360瀏覽
現(xiàn)在有不少朋友詢問(wèn)關(guān)于大數(shù)據(jù)方面的問(wèn)題，比如什么是大數(shù)據(jù)開(kāi)發(fā)啊，和大數(shù)據(jù)相關(guān)的技術(shù)是什么呢等問(wèn)題，我們今天就淺談一下大數(shù)據(jù)開(kāi)發(fā)及和大數(shù)據(jù)相關(guān)的技術(shù)的問(wèn)題。
首先，大數(shù)據(jù)(big data)，指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。
那么和大數(shù)據(jù)相關(guān)的技術(shù)有哪些?
1、云技術(shù)
大數(shù)據(jù)常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要分布式處理框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)萬(wàn)的電腦分配工作?？梢哉f(shuō)，云計(jì)算充當(dāng)了工業(yè)革命時(shí)期的發(fā)動(dòng)機(jī)的角色，而大數(shù)據(jù)則是電。
云計(jì)算思想的起源是麥卡錫在上世紀(jì)60年代提出的：把計(jì)算能力作為一種像水和電一樣的公用事業(yè)提供給用戶。
如今，在Google、Amazon、Facebook等一批互聯(lián)網(wǎng)企業(yè)引領(lǐng)下，一種行之有效的模式出現(xiàn)了：云計(jì)算提供基礎(chǔ)架構(gòu)平臺(tái)，大數(shù)據(jù)應(yīng)用運(yùn)行在這個(gè)平臺(tái)上。
業(yè)內(nèi)是這么形容兩者的關(guān)系：沒(méi)有大數(shù)據(jù)的信息積淀，則云計(jì)算的計(jì)算能力再?gòu)?qiáng)大，也難以找到用武之地;沒(méi)有云計(jì)算的處理能力，則大數(shù)據(jù)的信息積淀再豐富，也終究只是鏡花水月。
那么大數(shù)據(jù)到底需要哪些云計(jì)算技術(shù)呢?
這里暫且列舉一些，比如虛擬化技術(shù)，分布式處理技術(shù)，海量數(shù)據(jù)的存儲(chǔ)和管理技術(shù)，NoSQL、實(shí)時(shí)流數(shù)據(jù)處理、智能分析技術(shù)(類似模式識(shí)別以及自然語(yǔ)言理解)等。
云計(jì)算和大數(shù)據(jù)之間的關(guān)系可以用下面的一張圖來(lái)說(shuō)明，兩者之間結(jié)合后會(huì)產(chǎn)生如下效應(yīng)：可以提供更多基于海量業(yè)務(wù)數(shù)據(jù)的創(chuàng)新型服務(wù);通過(guò)云計(jì)算技術(shù)的不斷發(fā)展降低大數(shù)據(jù)業(yè)務(wù)的創(chuàng)新成本。
如果將云計(jì)算與大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在兩個(gè)方面：
第一，在概念上兩者有所不同，云計(jì)算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營(yíng)。
第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是CIO等關(guān)心的技術(shù)層，是一個(gè)進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。
2、分布式處理技術(shù)
分布式處理系統(tǒng)可以將不同地點(diǎn)的或具有不同功能的或擁有不同數(shù)據(jù)的多臺(tái)計(jì)算機(jī)用通信網(wǎng)絡(luò)連接起來(lái)，在控制系統(tǒng)的統(tǒng)一管理控制下，協(xié)調(diào)地完成信息處理任務(wù)—這就是分布式處理系統(tǒng)的定義。
以Hadoop(Yahoo)為例進(jìn)行說(shuō)明，Hadoop是一個(gè)實(shí)現(xiàn)了MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。
而MapReduce是Google提出的一種云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，MapReduce模式的主要思想是將自動(dòng)分割要執(zhí)行的問(wèn)題(例如程序)拆解成map(映射)和reduce(化簡(jiǎn))的方式， 在數(shù)據(jù)被分割后通過(guò)Map 函數(shù)的程序?qū)?shù)據(jù)映射成不同的區(qū)塊，分配給計(jì)算機(jī)機(jī)群處理達(dá)到分布式運(yùn)算的效果，在通過(guò)Reduce 函數(shù)的程序?qū)⒔Y(jié)果匯整，從而輸出開(kāi)發(fā)者需要的結(jié)果。
再來(lái)看看Hadoop的特性，第一，它是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。其次，Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ?，通過(guò)并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。
你也可以這么理解Hadoop的構(gòu)成，Hadoop=HDFS(文件系統(tǒng)，數(shù)據(jù)存儲(chǔ)技術(shù)相關(guān))+HBase(數(shù)據(jù)庫(kù))+MapReduce(數(shù)據(jù)處理)+……Others
Hadoop用到的一些技術(shù)有：
HDFS: Hadoop分布式文件系統(tǒng)(Distributed File System) - HDFS (HadoopDistributed File System)
MapReduce：并行計(jì)算框架
HBase: 類似Google BigTable的分布式NoSQL列數(shù)據(jù)庫(kù)。
Hive：數(shù)據(jù)倉(cāng)庫(kù)工具，由Facebook貢獻(xiàn)。
Zookeeper：分布式鎖設(shè)施，提供類似Google Chubby的功能，由Facebook貢獻(xiàn)。
Avro：新的數(shù)據(jù)序列化格式與傳輸工具，將逐步取代Hadoop原有的IPC機(jī)制。
Pig:大數(shù)據(jù)分析平臺(tái)，為用戶提供多種接口。
Ambari：Hadoop管理工具，可以快捷的監(jiān)控、部署、管理集群。
Sqoop：用于在Hadoop與傳統(tǒng)的數(shù)據(jù)庫(kù)間進(jìn)行數(shù)據(jù)的傳遞。
說(shuō)了這么多，舉個(gè)實(shí)際的例子，雖然這個(gè)例子有些陳舊，但是淘寶的海量數(shù)據(jù)技術(shù)架構(gòu)還是有助于我們理解對(duì)于大數(shù)據(jù)的運(yùn)作處理機(jī)制:
如上圖所示，淘寶的海量數(shù)據(jù)產(chǎn)品技術(shù)架構(gòu)分為五個(gè)層次，從上至下來(lái)看它們分別是：數(shù)據(jù)源，計(jì)算層，存儲(chǔ)層，查詢層和產(chǎn)品層。
數(shù)據(jù)來(lái)源層。存放著淘寶各店的交易數(shù)據(jù)。在數(shù)據(jù)源層產(chǎn)生的數(shù)據(jù)，通過(guò)DataX，DbSync和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)较旅娴?span>2點(diǎn)所述的“云梯”。
計(jì)算層。在這個(gè)計(jì)算層內(nèi)，淘寶采用的是Hadoop集群，這個(gè)集群，我們暫且稱之為云梯，是計(jì)算層的主要組成部分。在云梯上，系統(tǒng)每天會(huì)對(duì)數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算。
存儲(chǔ)層。在這一層，淘寶采用了兩個(gè)東西，一個(gè)使MyFox，一個(gè)是Prom。MyFox是基于MySQL的分布式關(guān)系型數(shù)據(jù)庫(kù)的集群，Prom是基于Hadoop Hbase技術(shù)的一個(gè)NoSQL的存儲(chǔ)集群。
查詢層。在這一層中，Glider是以HTTP協(xié)議對(duì)外提供restful方式的接口。數(shù)據(jù)產(chǎn)品通過(guò)一個(gè)唯一的URL來(lái)獲取到它想要的數(shù)據(jù)。同時(shí)，數(shù)據(jù)查詢即是通過(guò)MyFox來(lái)查詢的。
最后一層是產(chǎn)品層，這個(gè)就不用解釋了。
3、 存儲(chǔ)技術(shù)
大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)分析，這兩者的關(guān)系是：大數(shù)據(jù)存儲(chǔ)的目的是支撐大數(shù)據(jù)分析。到目前為止，還是兩種截然不同的計(jì)算機(jī)技術(shù)領(lǐng)域：大數(shù)據(jù)存儲(chǔ)致力于研發(fā)可以擴(kuò)展至PB甚至EB級(jí)別的數(shù)據(jù)存儲(chǔ)平臺(tái);大數(shù)據(jù)分析關(guān)注在最短時(shí)間內(nèi)處理大量不同類型的數(shù)據(jù)集。
提到存儲(chǔ)，有一個(gè)著名的摩爾定律相信大家都聽(tīng)過(guò)：18個(gè)月集成電路的復(fù)雜性就增加一倍。所以，存儲(chǔ)器的成本大約每18-24個(gè)月就下降一半。成本的不斷下降也造就了大數(shù)據(jù)的可存儲(chǔ)性。
比如，Google大約管理著超過(guò)50萬(wàn)臺(tái)服務(wù)器和100萬(wàn)塊硬盤，而且Google還在不斷的擴(kuò)大計(jì)算能力和存儲(chǔ)能力，其中很多的擴(kuò)展都是基于在廉價(jià)服務(wù)器和普通存儲(chǔ)硬盤的基礎(chǔ)上進(jìn)行的，這大大降低了其服務(wù)成本，因此可以將更多的資金投入到技術(shù)的研發(fā)當(dāng)中。
以Amazon舉例，Amazon S3 是一種面向 Internet 的存儲(chǔ)服務(wù)。該服務(wù)旨在讓開(kāi)發(fā)人員能更輕松的進(jìn)行網(wǎng)絡(luò)規(guī)模計(jì)算。Amazon S3 提供一個(gè)簡(jiǎn)明的 Web 服務(wù)界面，用戶可通過(guò)它隨時(shí)在 Web 上的任何位置存儲(chǔ)和檢索的任意大小的數(shù)據(jù)。 此服務(wù)讓所有開(kāi)發(fā)人員都能訪問(wèn)同一個(gè)具備高擴(kuò)展性、可靠性、安全性和快速價(jià)廉的基礎(chǔ)設(shè)施，Amazon 用它來(lái)運(yùn)行其全球的網(wǎng)站網(wǎng)絡(luò)。再看看S3的設(shè)計(jì)指標(biāo)：在特定年度內(nèi)為數(shù)據(jù)元提供 99.999999999% 的耐久性和 99.99% 的可用性，并能夠承受兩個(gè)設(shè)施中的數(shù)據(jù)同時(shí)丟失。
S3很成功也確實(shí)卓有成效，S3云的存儲(chǔ)對(duì)象已達(dá)到萬(wàn)億級(jí)別，而且性能表現(xiàn)相當(dāng)良好。S3云已經(jīng)擁萬(wàn)億跨地域存儲(chǔ)對(duì)象，同時(shí)AWS的對(duì)象執(zhí)行請(qǐng)求也達(dá)到百萬(wàn)的峰值數(shù)量。目前全球范圍內(nèi)已經(jīng)有數(shù)以十萬(wàn)計(jì)的企業(yè)在通過(guò)AWS運(yùn)行自己的全部或者部分日常業(yè)務(wù)。這些企業(yè)用戶遍布190多個(gè)國(guó)家，幾乎世界上的每個(gè)角落都有Amazon用戶的身影。
4、 感知技術(shù)
大數(shù)據(jù)的采集和感知技術(shù)的發(fā)展是緊密聯(lián)系的。以傳感器技術(shù)，指紋識(shí)別技術(shù)，RFID技術(shù)，坐標(biāo)定位技術(shù)等為基礎(chǔ)的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，都會(huì)產(chǎn)生海量的數(shù)據(jù)信息。
而隨著智能手機(jī)的普及，感知技術(shù)可謂迎來(lái)了發(fā)展的高峰期，除了地理位置信息被廣泛的應(yīng)用外，一些新的感知手段也開(kāi)始登上舞臺(tái)，比如，最新的”iPhone 5S”在home鍵內(nèi)嵌指紋傳感器，新型手機(jī)可通過(guò)呼氣直接檢測(cè)燃燒脂肪量，用于手機(jī)的嗅覺(jué)傳感器面世可以監(jiān)測(cè)從空氣污染到危險(xiǎn)的化學(xué)藥品，微軟正在研發(fā)可感知用戶當(dāng)前心情智能手機(jī)技術(shù)，谷歌眼鏡InSight新技術(shù)可通過(guò)衣著進(jìn)行人物識(shí)別。
除此之外，還有很多與感知相關(guān)的技術(shù)革新讓我們耳目一新：比如，牙齒傳感器實(shí)時(shí)監(jiān)控口腔活動(dòng)及飲食狀況，嬰兒穿戴設(shè)備可用大數(shù)據(jù)去養(yǎng)育寶寶，Intel正研發(fā)3D筆記本攝像頭可追蹤眼球讀懂情緒，日本公司開(kāi)發(fā)新型可監(jiān)控用戶心率的紡織材料，業(yè)界正在嘗試將生物測(cè)定技術(shù)引入支付領(lǐng)域等。
其實(shí)，這些感知被逐漸捕獲的過(guò)程就是就世界被數(shù)據(jù)化的過(guò)程，一旦世界被完全數(shù)據(jù)化了，那么世界的本質(zhì)也就是信息了。
就像一句名言所說(shuō)，“人類以前延續(xù)的是文明，現(xiàn)在傳承的是信息。”
好了，關(guān)于大數(shù)據(jù)開(kāi)發(fā)及和大數(shù)據(jù)相關(guān)的技術(shù)扣丁學(xué)堂大數(shù)據(jù)視頻教程講師就暫時(shí)為大家說(shuō)到這，如果你對(duì)大數(shù)據(jù)開(kāi)發(fā)感興趣的話歡迎加入扣丁學(xué)堂大數(shù)據(jù)視頻教程學(xué)習(xí)，我們邊學(xué)邊聊。
查看更多關(guān)于“大數(shù)據(jù)開(kāi)發(fā)資訊”的相關(guān)文章>>
全國(guó)免費(fèi)咨詢熱線
郵箱：codingke@1000phone.com
官方群：148715490
返回頂部