欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)簡(jiǎn)述如何實(shí)現(xiàn)器學(xué)習(xí)算法

2018-08-02 15:53:54 1261瀏覽

喜歡大數(shù)據(jù)開(kāi)發(fā)的小伙伴應(yīng)該都知道一些機(jī)器學(xué)習(xí)算法，不是很了解的小伙伴也沒(méi)關(guān)系，本篇文章扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)小編和大家分享一下如何實(shí)現(xiàn)器學(xué)習(xí)算法，對(duì)大數(shù)據(jù)開(kāi)發(fā)感興趣的小伙伴下面就隨小編一起來(lái)看一下吧。

下面將會(huì)對(duì)機(jī)器學(xué)習(xí)算法的不同的實(shí)現(xiàn)范式進(jìn)行講解，首先，這里列出了目前可用的三代機(jī)器學(xué)習(xí)工具。

傳統(tǒng)的機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的工具，包括SAS，IBM的SPSS，Weka以及R語(yǔ)言。它們可以在小數(shù)據(jù)集上進(jìn)行深度分析——工具所運(yùn)行的節(jié)點(diǎn)的內(nèi)存可以容納得下的數(shù)據(jù)集。

第二代機(jī)器學(xué)習(xí)工具，包括Mahout，Pentaho，以及RapidMiner。它們可以對(duì)大數(shù)據(jù)進(jìn)行我稱之為粗淺的分析?；?/span>Hadoop之上進(jìn)行的傳統(tǒng)機(jī)器學(xué)習(xí)工具的規(guī)模化的嘗試，包括RevolutionAnalytics的成果(RHadoop)以及Hadoop上的SAS，都可以歸到第二代工具里面。

第三代工具，比如Spark,Twister，HaLoop，Hama以及GraphLab。它們可以對(duì)大數(shù)據(jù)進(jìn)行深度的分析。傳統(tǒng)供應(yīng)商最近的一些嘗試包括SAS的內(nèi)存分析，也屬于這一類。

第一代機(jī)器學(xué)習(xí)工具/范式

由于第一代工具擁有大量的機(jī)器學(xué)習(xí)算法，因此它們適合進(jìn)行深度的分析。然而，由于可擴(kuò)展性的限制，它們并不都能在大數(shù)據(jù)集上進(jìn)行工作——比如TB或者PB級(jí)的數(shù)據(jù)（受限于這些工具本質(zhì)上是非分布式的）。也就是說(shuō)，它們可以進(jìn)行垂直擴(kuò)展（你可以提高工具運(yùn)行的節(jié)點(diǎn)的處理能力），但無(wú)法進(jìn)行水平擴(kuò)展（它們并非都能在集群上運(yùn)行）。第一代工具的供應(yīng)商通過(guò)建立Hadoop連接器以及提供集群選項(xiàng)來(lái)解決這些局限性——這意味著它們?cè)谂?duì)R或者SAS這樣的工具進(jìn)行重新設(shè)計(jì)以便可以進(jìn)行水平擴(kuò)展。這些都應(yīng)該歸入第二代和第三代工具，下面我們將會(huì)介紹到。

第二代機(jī)器學(xué)習(xí)工具/范式

第二代工具（現(xiàn)在我們可以把傳統(tǒng)的機(jī)器學(xué)習(xí)工具比如SAS這些稱之為第一代工具了）比如Mahout（http://mahout.apache.org），Rapidminer以及Pentaho，它們通過(guò)在開(kāi)源的MapReduce產(chǎn)品——Hadoop之上實(shí)現(xiàn)相關(guān)算法，提供了擴(kuò)展到大數(shù)據(jù)集上的能力。這些工具仍在快速完善并且是開(kāi)源的（尤其是Mahout）。Mahout擁有一系列的聚類及分類的算法，以及一個(gè)相當(dāng)不錯(cuò)的推薦算法（Konstan和Riedl，2012）。因此它可以進(jìn)行大數(shù)據(jù)的處理，現(xiàn)在在生產(chǎn)環(huán)境上已經(jīng)有大量的使用案例，主要用于推薦系統(tǒng)。我在一個(gè)線上系統(tǒng)中也使用Mahout來(lái)實(shí)現(xiàn)了一個(gè)金融領(lǐng)域的推薦算法，發(fā)現(xiàn)它確是可擴(kuò)展的，盡管并不是一點(diǎn)問(wèn)題沒(méi)有（我還修改了相當(dāng)一部分代碼）。關(guān)于Mahou的一項(xiàng)評(píng)測(cè)發(fā)現(xiàn)它只實(shí)現(xiàn)了機(jī)器學(xué)習(xí)算法中的很小的一個(gè)子集——只有25個(gè)算法是達(dá)到了生產(chǎn)質(zhì)量的，8到9個(gè)在Hadoop之上可用，這意味著能在大數(shù)據(jù)集上進(jìn)行擴(kuò)展。這些算法包括線性回歸，線性支持向量機(jī)，K-means聚類算法，等等。它通過(guò)并行訓(xùn)練，提供了順序邏輯回歸的一個(gè)快速的實(shí)現(xiàn)。然而，正如別人指出的（比如Quora.com），它沒(méi)有實(shí)現(xiàn)非線性支持向量機(jī)以及多變項(xiàng)邏輯回歸（這也稱為離散選擇模型）。

畢竟來(lái)說(shuō)，本書(shū)并不是要為了抨擊Mahout的。不過(guò)我認(rèn)為有些機(jī)器學(xué)習(xí)算法的確是很難在Hadoop上實(shí)現(xiàn)，比如支持向量機(jī)的核函數(shù)以及共軛梯度法（CGD，值得注意的是Mahout實(shí)現(xiàn)了一個(gè)隨機(jī)梯度下降）。這一點(diǎn)別人也同樣指出了，比方說(shuō)可以看一下Srirama教授的一篇論文（Srirama等人，2012年）。這里詳細(xì)地比較了Hadoop和TwisterMR（Ekanayake等，2010年）在諸如共軛梯度法等迭代式算法上的不同，它指出，Hadoop上的開(kāi)銷非常明顯。我所說(shuō)的迭代式是指什么？一組執(zhí)行特定計(jì)算的實(shí)體，在等待鄰居或者其它實(shí)體的返回結(jié)果，然后再進(jìn)行下一輪迭代。CGD是迭代式算法的最佳范例——每個(gè)CGD都可以分解成daxpy,ddot，matmul等原語(yǔ)。我會(huì)分別解釋這三種原語(yǔ)都是什么：daxpy操作將向量x與常量k相乘，然后再和另一個(gè)向量y進(jìn)行相加；ddot會(huì)計(jì)算兩個(gè)向量x,y的點(diǎn)積;matmul將矩陣與向量相乘，然后返回另一個(gè)向量。這意味著每個(gè)操作對(duì)應(yīng)一個(gè)MapReduce操作，一次迭代會(huì)有6個(gè)MR操作，最終一次CG運(yùn)算會(huì)有100個(gè)MR操作，以及數(shù)GB的數(shù)據(jù)交互，盡管這只是很小的矩陣。事實(shí)上，準(zhǔn)備每次迭代的開(kāi)銷（包括從HDFS加載數(shù)據(jù)到內(nèi)存的開(kāi)銷）比迭代運(yùn)算本身的都大，這導(dǎo)致Hadoop上的MR會(huì)出現(xiàn)性能下降。相反，Twister會(huì)區(qū)分靜態(tài)數(shù)據(jù)和可變數(shù)據(jù)，使得數(shù)據(jù)可以在MR迭代過(guò)程中常駐內(nèi)存，同時(shí)還有一個(gè)合并階段來(lái)收集reduce階段輸出的結(jié)果，因此性能有明顯的提升。

第二代工具還有一些是傳統(tǒng)工具基于Hadoop上進(jìn)行的擴(kuò)展。

這類可供選擇的有RevolutionAnalytics的產(chǎn)品，它是在Hadoop上對(duì)R語(yǔ)言進(jìn)行了擴(kuò)展，以及在Hadoop上實(shí)現(xiàn)R語(yǔ)言程序的一個(gè)可擴(kuò)展的運(yùn)行時(shí)環(huán)境（Venkataraman等，2012）。SAS的內(nèi)存分析，作為SAS的高性能分析工具包中的一部分，是傳統(tǒng)工具在Hadoop集群上進(jìn)行規(guī)?；牧硪粋€(gè)嘗試。然而，最近發(fā)布的版本不僅能在Hadoop上運(yùn)行，同時(shí)也支持Greenplum/Teradata，這應(yīng)該算作是第三代機(jī)器學(xué)習(xí)的方法。另一個(gè)有趣的產(chǎn)品是一家叫ConcurrentSystems的初創(chuàng)公司實(shí)現(xiàn)的，它提供了一個(gè)預(yù)測(cè)模型標(biāo)記語(yǔ)言（PredictiveModelingMarkupLanguage，PMML）在Hadoop上的運(yùn)行環(huán)境。PMML的模型有點(diǎn)類似XML，使得模型可以存儲(chǔ)在描述性語(yǔ)言的文件中。傳統(tǒng)工具比如R以及SAS都可以將模型保存在PMML文件里。Hadoop上的運(yùn)行環(huán)境使得它們可以將這些模型文件存儲(chǔ)到一個(gè)Hadoop集群上，因此它們也屬于第二代工具/范式。

第三代機(jī)器學(xué)習(xí)工具/范式

Hadoop自身的局限性以及它不太適合某類應(yīng)用程序，這促進(jìn)研究人員提出了新的替代方案。第三代工具主要是嘗試超越Hadoop來(lái)進(jìn)行不同維度的分析。我將會(huì)根據(jù)三種維度來(lái)討論不同的實(shí)現(xiàn)方案，分別是機(jī)器學(xué)習(xí)算法，實(shí)時(shí)分析以及圖像處理。

迭代式機(jī)器學(xué)習(xí)算法

伯克利大學(xué)的研究人員提出了一種替代方案：Spark（Zaharia等，2010年）——也就是說(shuō)，在大數(shù)據(jù)領(lǐng)域，Spark被視為是替換Hadoop的下一代數(shù)據(jù)處理的解決方案。Spark有別于Hadoop的關(guān)鍵思想在于它的內(nèi)存計(jì)算，這使得數(shù)據(jù)可以在不同的迭代和交互間緩存在內(nèi)存里。研發(fā)Spark的主要原因是，常用的MR方法，只適用于那些可以表示成無(wú)環(huán)數(shù)據(jù)流的應(yīng)用程序，并不適用于其它程序，比如那些在迭代中需要重用工作集的應(yīng)用。因此他們提出了這種新的集群計(jì)算的方法，它不僅能提供和MR類似的保證性和容錯(cuò)性，并且能同時(shí)支持迭代式及非迭代式應(yīng)用。伯克利的研究人員提出了一套技術(shù)方案叫作BDAS，它可以在集群的不同節(jié)點(diǎn)間運(yùn)行數(shù)據(jù)分析的任務(wù)。BDAS中最底層的組件叫做Mesos，這是個(gè)集群管理器，它會(huì)進(jìn)行任務(wù)分配以及集群任務(wù)的資源管理。第二個(gè)組件是基于Mesos構(gòu)建的Tachyon文件系統(tǒng)。Tachyon提供了一個(gè)分布式文件系統(tǒng)的抽象以及在集群間進(jìn)行文件操作的接口。在實(shí)際的實(shí)施方案中，作為運(yùn)算工具的Spark，是基于Tachyon和Mesos來(lái)實(shí)現(xiàn)的，盡管不用Tachyon，甚至是不用Mesos也可以實(shí)現(xiàn)。而在Spark基礎(chǔ)上實(shí)現(xiàn)的Shark，則提供了集群層面的結(jié)構(gòu)化查詢語(yǔ)言的抽象——這和Hive在Hadoop之上提供的抽象是一樣的。Zacharia等人在他們的文章中對(duì)Spark進(jìn)行了探索，這是實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法的重要組成部分。

HaLoop（Bu等人，2010）也擴(kuò)展了Hadoop來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法——它不僅為迭代式應(yīng)用的表示提供了一層編程抽象，同時(shí)還使用了緩存的概念來(lái)進(jìn)行迭代間的數(shù)據(jù)共享，以及對(duì)定點(diǎn)進(jìn)行校驗(yàn)，從而提高了效率。Twister(http://iterativemapreduce.org)是類似HaLoop的一個(gè)產(chǎn)品。

實(shí)時(shí)分析

實(shí)時(shí)分析是超越Hadoop考慮的第二個(gè)維度。Storm是一個(gè)可擴(kuò)展的復(fù)雜事件處理引擎，它使得基于事件流的實(shí)時(shí)復(fù)雜運(yùn)算成為了可能。一個(gè)Storm集群的組件包括：

Spout，用于從不同的數(shù)據(jù)源中讀取數(shù)據(jù)。有HDFS類型的spout，Kafka類型的spout，以及TCP流的spout。

Bolt，它用于數(shù)據(jù)處理。它們?cè)诹魃线M(jìn)行運(yùn)算?；诹鞯臋C(jī)器學(xué)習(xí)算法通常都在這里運(yùn)行。

拓?fù)?。這是具體應(yīng)用特定的spout和bolt的一個(gè)整合——拓?fù)溥\(yùn)行于集群的節(jié)點(diǎn)上。

在實(shí)踐中，一個(gè)架構(gòu)如果同時(shí)包含了Kafka（來(lái)自LinkedIn的一個(gè)分布式隊(duì)列系統(tǒng)）集群來(lái)作為高速的數(shù)據(jù)提取器，以及Storm集群來(lái)進(jìn)行處理或者分析，它的表現(xiàn)會(huì)非常不錯(cuò)，Kafkaspout用來(lái)快速地從Kafka集群中讀取數(shù)據(jù)。Kafka集群將事件存儲(chǔ)在隊(duì)列中。由于Storm集群正忙于進(jìn)行機(jī)器學(xué)習(xí)，因此這么做是很有必要的。

以上就是扣丁學(xué)堂大數(shù)據(jù)在線學(xué)習(xí)小編給大家分享的如何實(shí)現(xiàn)器學(xué)習(xí)算法，想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢。想要學(xué)好大數(shù)據(jù)的小編給大家推薦口碑良好的扣丁學(xué)堂，扣丁學(xué)堂不僅有專業(yè)的大數(shù)據(jù)培訓(xùn)班供大家學(xué)習(xí)還有專業(yè)老師制定的大數(shù)據(jù)學(xué)習(xí)路線圖輔助學(xué)員學(xué)習(xí)，除此之外扣丁學(xué)堂還有與時(shí)俱進(jìn)的課程體系和大量的大數(shù)據(jù)在線視頻教程讓學(xué)員免費(fèi)觀看學(xué)習(xí)，想要快速學(xué)習(xí)大數(shù)據(jù)就到由專業(yè)老師授課的扣丁學(xué)堂學(xué)習(xí)吧?？鄱W(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

【關(guān)注微信公眾號(hào)獲取更多學(xué)習(xí)資料】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>>