2018-05-16 15:30:46 1692瀏覽
本篇文章扣丁學堂大數(shù)據(jù)在線學習小編給大家分享一下統(tǒng)計學和數(shù)據(jù)挖掘的區(qū)別，想要了解的小伙伴可以閱讀了解一下，喜歡大數(shù)據(jù)的小伙伴和扣丁學堂大數(shù)據(jù)在線學習小編一塊來看一下吧。
1、簡介
統(tǒng)計學和數(shù)據(jù)挖掘有著共同的目標：發(fā)現(xiàn)數(shù)據(jù)中的結構。事實上，由于它們的目標相似，一些人(尤其是統(tǒng)計學家)認為數(shù)據(jù)挖掘是統(tǒng)計學的分支。這是一個不切合實際的看法。因為數(shù)據(jù)挖掘還應用了其它領域的思想、工具和方法，尤其是計算機學科，例如數(shù)據(jù)庫技術和機器學習，而且它所關注的某些領域和統(tǒng)計學家所關注的有很大不同。
統(tǒng)計學和數(shù)據(jù)挖掘研究目標的重迭自然導致了迷惑。事實上，有時候還導致了反感。統(tǒng)計學有著正統(tǒng)的理論基礎(尤其是經過本世紀的發(fā)展)，而現(xiàn)在又出現(xiàn)了一個新的學科，有新的主人，而且聲稱要解決統(tǒng)計學家們以前認為是他們領域的問題。這必然會引起關注。更多的是因為這門新學科有著一個吸引人的名字，勢必會引發(fā)大家的興趣和好奇。把“數(shù)據(jù)挖掘”這個術語所潛在的承諾和“統(tǒng)計學”作比較的話，統(tǒng)計的最初含義是“陳述事實”，以及找出枯燥的大量數(shù)據(jù)背后的有意義的信息。當然，統(tǒng)計學的現(xiàn)代的含義已經有很大不同的事實。而且，這門新學科同商業(yè)有特殊的關聯(lián)(盡管它還有科學及其它方面的應用)。
本文的目的是逐個考察這兩門學科的性質，區(qū)分它們的異同，并關注與數(shù)據(jù)挖掘相關聯(lián)的一些難題。首先，我們注意到“數(shù)據(jù)挖掘”對統(tǒng)計學家來說并不陌生。例如，Everitt定義它為：“僅僅是考察大量的數(shù)據(jù)驅動的模型，從中發(fā)現(xiàn)最適合的”。統(tǒng)計學家因而會忽略對數(shù)據(jù)進行特別的分析，因為他們知道太細致的研究卻難以發(fā)現(xiàn)明顯的結構。盡管如此，事實上大量的數(shù)據(jù)可能包含不可預測的但很有價值的結構。而這恰恰引起了注意，也是當前數(shù)據(jù)挖掘的任務。
2、統(tǒng)計學的性質
試圖為統(tǒng)計學下一個太寬泛的定義是沒有意義的。盡管可能做到，但會引來很多異議。相反，我要關注統(tǒng)計學不同于數(shù)據(jù)挖掘的特性。
差異之一同上節(jié)中最后一段提到的相關，即統(tǒng)計學是一門比較保守的學科，目前有一種趨勢是越來越精確。當然，這本身并不是壞事，只有越精確才能避免錯誤，發(fā)現(xiàn)真理。但是如果過度的話則是有害的。這個保守的觀點源于統(tǒng)計學是數(shù)學的分支這樣一個看法，我是不同意這個觀點的。盡管統(tǒng)計學確實以數(shù)學為基礎(正如物理和工程也以數(shù)學為基礎，但沒有被認為是數(shù)學的分支)，但它同其它學科還有緊密的聯(lián)系。
數(shù)學背景和追求精確加強了這樣一個趨勢：在采用一個方法之前先要證明，而不是象計算機科學和機器學習那樣注重經驗。這就意味著有時候和統(tǒng)計學家關注同一問題的其它領域的研究者提出一個很明顯有用的方法，但它卻不能被證明(或還不能被證明)。統(tǒng)計雜志傾向于發(fā)表經過數(shù)學證明的方法而不是一些特殊方法。數(shù)據(jù)挖掘作為幾門學科的綜合，已經從機器學習那里繼承了實驗的態(tài)度。這并不意味著數(shù)據(jù)挖掘工作者不注重精確，而只是說明如果方法不能產生結果的話就會被放棄。
正是統(tǒng)計文獻顯示了(或夸大了)統(tǒng)計的數(shù)學精確性。同時還顯示了其對推理的側重。盡管統(tǒng)計學的一些分支也側重于描述，但是瀏覽一下統(tǒng)計論文的話就會發(fā)現(xiàn)這些文獻的核心問題就是在觀察了樣本的情況下如何去推斷總體。當然這也常常是數(shù)據(jù)挖掘所關注的。下面我們會提到數(shù)據(jù)挖掘的一個特定屬性就是要處理的是一個大數(shù)據(jù)集。這就意味著，由于可行性的原因，我們常常得到的只是一個樣本，但是需要描述樣本取自的那個大數(shù)據(jù)集。然而，數(shù)據(jù)挖掘問題常?？梢缘玫綌?shù)據(jù)總體，例如關于一個公司的所有職工數(shù)據(jù)，數(shù)據(jù)庫中的所有客戶資料，去年的所有業(yè)務。在這種情形下，推斷就沒有價值了(例如，年度業(yè)務的平均值)，因為觀測到的值也就是估計參數(shù)。這就意味著，建立的統(tǒng)計模型可能會利用一系列概率表述(例如，一些參數(shù)接近于0，則會從模型中剔除掉)，但當總體數(shù)據(jù)可以獲得的話，在數(shù)據(jù)挖掘中則變得毫無意義。在這里，我們可以很方便的應用評估函數(shù)：針對數(shù)據(jù)的足夠的表述。事實是，常常所關注的是模型是否合適而不是它的可行性，在很多情形下，使得模型的發(fā)現(xiàn)很容易。例如，在尋找規(guī)則時常常會利用吻合度的單純特性(例如，應用分支定理)。但當我們應用概率陳述時則不會得到這些特性。
統(tǒng)計學和數(shù)據(jù)挖掘部分交迭的第三個特性是在現(xiàn)代統(tǒng)計學中起核心作用的“模型”?；蛟S“模型”這個術語更多的含義是變化。一方面，統(tǒng)計學模型是基于分析變量間的聯(lián)系，但另一方面這些模型關于數(shù)據(jù)的總體描述確實沒有道理的。關于信用卡業(yè)務的回歸模型可能會把收入作為一個獨立的變量，因為一般認為高收入會導致大的業(yè)務。這可能是一個理論模型(盡管基于一個不牢靠的理論)。與此相反，只需在一些可能具有解釋意義的變量基礎上進行逐步的搜索，從而獲得一個有很大預測價值的模型，盡管不能作出合理的解釋。(通過數(shù)據(jù)挖掘去發(fā)現(xiàn)一個模型的時候，常常關注的就是后者)。
還有其它方法可以區(qū)分統(tǒng)計模型，但在這里我將不作探討。這里我想關注的是，現(xiàn)代統(tǒng)計學是以模型為主的。而計算，模型選擇條件是次要的，只是如何建立一個好的模型。但在數(shù)據(jù)挖掘中，卻不完全是如此。在數(shù)據(jù)挖掘中，準則起了核心的作用。(當然在統(tǒng)計學中有一些以準則為中心的獨立的特例。Gifi的關于學校的非線性多變量分析就是其中之一。例如，Gifi說，給定一些最常用的MVA(多變量分析)問題，既可以從模型出發(fā)也可以技術出發(fā)。正如我們已經在1.1節(jié)所看到的基于模型的經典的多變量統(tǒng)計分析，……然而，在很多情形下，模型的選擇并不都是顯而易見的，選擇一個合適的模型是不可能的，最合適的計算方法也是不可行的。在這種情形下，我們從另外一個角度出發(fā)，應用設計的一系列技術來回答MVA問題，暫不考慮模型和最優(yōu)判別的選擇。
相對于統(tǒng)計學而言，準則在數(shù)據(jù)挖掘中起著更為核心的作用并不奇怪，數(shù)據(jù)挖掘所繼承的學科如計算機科學及相關學科也是如此。數(shù)據(jù)集的規(guī)模常常意味著傳統(tǒng)的統(tǒng)計學準則不適合數(shù)據(jù)挖掘問題，不得不重新設計。部分地，當數(shù)據(jù)點被逐一應用以更新估計量，適應性和連續(xù)性的準則常常是必須的。盡管一些統(tǒng)計學的準則已經得到發(fā)展，但更多的應用是機器學習。(正如“學習”所示的那樣)
很多情況下，數(shù)據(jù)挖掘的本質是很偶然的發(fā)現(xiàn)非預期但很有價值的信息。這說明數(shù)據(jù)挖掘過程本質上是實驗性的。這和確定性的分析是不同的。(實際上，一個人是不能完全確定一個理論的，只能提供證據(jù)和不確定的證據(jù)。)確定性分析著眼于最適合的模型-建立一個推薦模型，這個模型也許不能很好的解釋觀測到的數(shù)據(jù)。很多，或許是大部分統(tǒng)計分析提出的是確定性的分析。然而，實驗性的數(shù)據(jù)分析對于統(tǒng)計學并不是新生事務，或許這是統(tǒng)計學家應該考慮作為統(tǒng)計學的另一個基石，而這已經是數(shù)據(jù)挖掘的基石。所有這些都是正確的，但事實上，數(shù)據(jù)挖掘所遇到的數(shù)據(jù)集按統(tǒng)計標準來看都是巨大的。在這種情況下，統(tǒng)計工具可能會失效：百萬個偶然因素可能就會使其失效。
如果數(shù)據(jù)挖掘的主要目的是發(fā)現(xiàn)，那它就不關心統(tǒng)計學領域中的在回答一個特定的問題之前，如何很好的搜集數(shù)據(jù)，例如實驗設計和調查設計。數(shù)據(jù)挖掘本質上假想數(shù)據(jù)已經被搜集好，關注的只是如何發(fā)現(xiàn)其中的秘密。
3、數(shù)據(jù)挖掘的性質
由于統(tǒng)計學基礎的建立在計算機的發(fā)明和發(fā)展之前，所以常用的統(tǒng)計學工具包含很多可以手工實現(xiàn)的方法。因此，對于很多統(tǒng)計學家來說，1000個數(shù)據(jù)就已經是很大的了。但這個“大”對于英國大的信用卡公司每年350，000，000筆業(yè)務或AT&T每天200，000，000個長途呼叫來說相差太遠了。很明顯，面對這么多的數(shù)據(jù)，則需要設計不同于那些“原則上可以用手工實現(xiàn)”的方法。這意味這計算機(正是計算機使得大數(shù)據(jù)可能實現(xiàn))對于數(shù)據(jù)的分析和處理是關鍵的。分析者直接處理數(shù)據(jù)將變得不可行。相反，計算機在分析者和數(shù)據(jù)之間起到了必要的過濾的作用。這也是數(shù)據(jù)挖掘特別注重準則的另一原因。盡管有必要，把分析者和數(shù)據(jù)分離開很明顯導致了一些關聯(lián)任務。這里就有一個真正的危險：非預期的模式可能會誤導分析者，這一點我下面會討論。
我不認為在現(xiàn)代統(tǒng)計中計算機不是一個重要的工具。它們確實是，并不是因為數(shù)據(jù)的規(guī)模。對數(shù)據(jù)的精確分析方法如bootstrap方法、隨機測試，迭代估計方法以及比較適合的復雜的模型正是有了計算機才是可能的。計算機已經使得傳統(tǒng)統(tǒng)計模型的視野大大的擴展了，還促進了新工具的飛速發(fā)展。
下面來關注一下歪曲數(shù)據(jù)的非預期的模式出現(xiàn)的可能性。這和數(shù)據(jù)質量相關。所有數(shù)據(jù)分析的結論依賴于數(shù)據(jù)質量。GIGO的意思是垃圾進，垃圾出，它的引用到處可見。一個數(shù)據(jù)分析者，無論他多聰明，也不可能從垃圾中發(fā)現(xiàn)寶石。對于大的數(shù)據(jù)集，尤其是要發(fā)現(xiàn)精細的小型或偏離常規(guī)的模型的時候，這個問題尤其突出。當一個人在尋找百萬分之一的模型的時候，第二個小數(shù)位的偏離就會起作用。一個經驗豐富的人對于此類最常見的問題會比較警覺，但出錯的可能性太多了。
此類問題可能在兩個層次上產生。第一個是微觀層次，即個人記錄。例如，特殊的屬性可能丟失或輸錯了。我知道一個案例，由于挖掘者不知道，丟失的數(shù)據(jù)被記錄為99而作為真實的數(shù)據(jù)處理。第二個是宏觀層次，整個數(shù)據(jù)集被一些選擇機制所歪曲。交通事故為此提供了一個好的示例。越嚴重的、致命的事故，其記錄越精確，但小的或沒有傷害的事故的記錄卻沒有那么精確。事實上，很高比例的數(shù)據(jù)根本沒有記錄。這就造成了一個歪曲的映象-可能會導致錯誤的結論。
統(tǒng)計學很少會關注實時分析，然而數(shù)據(jù)挖掘問題常常需要這些。例如，銀行事務每天都會發(fā)生，沒有人能等三個月得到一個可能的欺詐的分析。類似的問題發(fā)生在總體隨時間變化的情形。我的研究組有明確的例子顯示銀行債務的申請隨時間、競爭環(huán)境、經濟波動而變化。
至此，我們已經論述了數(shù)據(jù)分析的問題，說明了數(shù)據(jù)挖掘和統(tǒng)計學的差異，盡管有一定的重迭。但是，數(shù)據(jù)挖掘者也不可持完全非統(tǒng)計的觀點。首先來看一個例子：獲得數(shù)據(jù)的問題。統(tǒng)計學家往往把數(shù)據(jù)看成一個按變量交叉分類的平面表，存儲于計算機等待分析。如果數(shù)據(jù)量較小，可以讀到內存，但在許多數(shù)據(jù)挖掘問題中這是不可能的。更糟糕的是，大量的數(shù)據(jù)常常分布在不同的計算機上?；蛟S極端的是，數(shù)據(jù)分布在全球互聯(lián)網上。此類問題使得獲得一個簡單的樣本不大可能。(先不管分析“整個數(shù)據(jù)集”的可能性，如果數(shù)據(jù)是不斷變化的這一概念可能是不存在的，例如電話呼叫)
當描述數(shù)據(jù)挖掘技術的時候，我發(fā)現(xiàn)依據(jù)以建立模型還是模式發(fā)現(xiàn)為目的可以很方便的區(qū)分兩類常見的工具。我已經提到了模型概念在統(tǒng)計學中的核心作用。在建立模型的時候，盡量要概括所有的數(shù)據(jù)，以及識別、描述分布的形狀。這樣的“全”模型的例子如對一系列數(shù)據(jù)的聚類分析，回歸預測模型，以及基于樹的分類法則。相反，在模式發(fā)現(xiàn)中，則是盡量識別小的(但不一定不重要)偏差，發(fā)現(xiàn)行為的異常模式。例如EEG軌跡中的零星波形、信用卡使用中的異常消費模式，以及不同于其它特征的對象。很多時候，這第二種實驗是數(shù)據(jù)挖掘的本質-試圖發(fā)現(xiàn)渣滓中的金塊。然而，第一類實驗也是重要的。當關注的是全局模型的建立的話，樣本是可取的(可以基于一個十萬大小的樣本發(fā)現(xiàn)重要的特性，這和基于一個千萬大小的樣本是等效的，盡管這部分的取決于我們想法的模型的特征。然而，模式發(fā)現(xiàn)不同于此。僅選擇一個樣本的話可能會忽略所希望檢測的情形。
盡管統(tǒng)計學主要關注的是分析定量數(shù)據(jù)，數(shù)據(jù)挖掘的多來源意味著還需要處理其它形式的數(shù)據(jù)。特別的，邏輯數(shù)據(jù)越來越多-例如當要發(fā)現(xiàn)的模式由連接的和分離的要素組成的時候。類似的，有時候會碰到高度有序的結構。分析的要素可能是圖象，文本，語言信號，或者甚至完全是(例如，在交替分析中)科學研究資料。
4、討論
數(shù)據(jù)挖掘有時候是一次性的實驗。這是一個誤解。它更應該被看作是一個不斷的過程(盡管數(shù)據(jù)集時確定的)。從一個角度檢查數(shù)據(jù)可以解釋結果，以相關的觀點檢查可能會更接近等等。關鍵是，除了極少的情形下，很少知道哪一類模式是有意義的。數(shù)據(jù)挖掘的本質是發(fā)現(xiàn)非預期的模式-同樣非預期的模式要以非預期的方法來發(fā)現(xiàn)。
與把數(shù)據(jù)挖掘作為一個過程的觀點相關聯(lián)的是認識到結果的新穎性。許多數(shù)據(jù)挖掘的結果是我們所期望的-可以回顧。然而，可以解釋這個事實并不能否定挖掘出它們的價值。沒有這些實驗，可能根本不會想到這些。實際上，只有那些可以依據(jù)過去經驗形成的合理的解釋的結構才會是有價值的。
顯然在數(shù)據(jù)挖掘存在著一個潛在的機會。在大數(shù)據(jù)集中發(fā)現(xiàn)模式的可能性當然存在，大數(shù)據(jù)集的數(shù)量與日俱增。然而，也不應就此掩蓋危險。所有真正的數(shù)據(jù)集(即使那些是以完全自動方式搜集的數(shù)據(jù))都有產生錯誤的可能。關于人的數(shù)據(jù)集(例如事務和行為數(shù)據(jù))尤其有這種可能。這很好的解釋了絕大部分在數(shù)據(jù)中發(fā)現(xiàn)的“非預期的結構”本質上是無意義的，而是因為偏離了理想的過程。(當然，這樣的結構可能會是有意義的：如果數(shù)據(jù)有問題，可能會干擾搜集數(shù)據(jù)的目的，最好還是了解它們)。與此相關聯(lián)的是如何確保(和至少為事實提供支持)任何所觀察到的模式是“真實的”，它們反應了一些潛在的結構和關聯(lián)而不僅僅是一個特殊的數(shù)據(jù)集，由于一個隨機的樣本碰巧發(fā)生。在這里，記分方法可能是相關的，但需要更多的統(tǒng)計學家和數(shù)據(jù)挖掘工作者的研究。
以上就是扣丁學堂大數(shù)據(jù)在線學習小編給大家分享的述統(tǒng)計學和數(shù)據(jù)挖掘的區(qū)別，希望對大家的學習有所幫助，想要了解更多大數(shù)據(jù)方面內容的小伙伴可以登錄扣丁學堂官網咨詢。扣丁學堂是專業(yè)的大數(shù)據(jù)培訓機構，不僅有專業(yè)的老師和與時俱進的課程體系，還有大量的大數(shù)據(jù)在線教程供學員觀看學習，想要學好大數(shù)據(jù)開發(fā)的小伙伴快快行動吧?？鄱W堂大數(shù)據(jù)學習群：209080834。
【關注微信公眾號獲取更多學習資料】
查看更多關于“大數(shù)據(jù)培訓資訊”的相關文章>>
全國免費咨詢熱線
郵箱：codingke@1000phone.com
官方群：148715490
返回頂部