2019-04-01 17:02:40 2950瀏覽
對大數(shù)據(jù)開發(fā)技術(shù)感興趣的小伙伴對數(shù)據(jù)挖掘技術(shù)有多少了解呢?本篇文章扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)小編就給喜歡大數(shù)據(jù)開發(fā)的小伙伴分享一下常用的數(shù)據(jù)挖掘技術(shù),希望對小伙伴們有所幫助。
1、統(tǒng)計技術(shù)
數(shù)據(jù)挖掘涉及的科學(xué)領(lǐng)域和技術(shù)很多,如統(tǒng)計技術(shù)。統(tǒng)計技術(shù)對數(shù)據(jù)集進(jìn)行挖掘的主要思想是:統(tǒng)計的方法對給定的數(shù)據(jù)集合假設(shè)了一個分布或者概率模型(例如一個正態(tài)分布)然后根據(jù)模型采用相應(yīng)的方法來進(jìn)行挖掘。
2、關(guān)聯(lián)規(guī)則
數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識。若兩個或多個變量的取值之I司存在某種規(guī)律性,就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù),即使知道也是不確定的,因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。
3、基于歷史的MBR(Memory-based Reasoning)分析
先根據(jù)經(jīng)驗知識尋找相似的情況,然后將這些情況的信息應(yīng)用于當(dāng)前的例子中。這個就是MBR(Memory Based Reasoning)的本質(zhì)。MBR首先尋找和新記錄相似的鄰居,然后利用這些鄰居對新數(shù)據(jù)進(jìn)行分類和估值。使用MBR有三個主要問題,尋找確定的歷史數(shù)據(jù);決定表示歷史數(shù)據(jù)的最有效的方法;決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。
4、遺傳算法GA(Genetic Algorithms)
基于進(jìn)化理論,并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計方法的優(yōu)化技術(shù)。主要思想是:根據(jù)適者生存的原則,形成由當(dāng)前群體中最適合的規(guī)則組成新的群體,以及這些規(guī)則的后代。典型情況下,規(guī)則的適合度(Fitness)用它對訓(xùn)練樣本集的分類準(zhǔn)確率評估。
5、聚集檢測
將物理或抽象對象的集合分組成為由類似的對象組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對象的集合,這些對象與同一個簇中的對象彼此相似,與其它簇中的對象相異。相異度是根據(jù)描述對象的屬眭值來計算的,距離是經(jīng)常采用的度量方式。
6、連接分析
連接分析,Link analysis,它的基本理論是圖論。圖論的思想是尋找一個可以得出好結(jié)果但不是完美結(jié)果的算法,而不是去尋找完美的解的算法。連接分析就是運用了這樣的思想:不完美的結(jié)果如果是可行的,那么這樣的分析就是一個好的分析。利用連接分析,可以從一些用戶的行為中分析出一些模式;同時將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。
7、決策樹
決策樹提供了一種展示類似在什么條件下會得到什么值這類規(guī)則的方法。
最后想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢,扣丁學(xué)堂有專業(yè)老師制定的大數(shù)據(jù)學(xué)習(xí)路線圖輔助學(xué)員學(xué)習(xí),此外還有與時俱進(jìn)的大數(shù)據(jù)視頻教程供大家學(xué)習(xí),想要學(xué)好大數(shù)據(jù)開發(fā)的同學(xué)請加入扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群:209080834。
【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】 【掃碼進(jìn)入HTML5前端架構(gòu)師進(jìn)階免費公開課】
查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>