欧美成人午夜免费全部完,亚洲午夜福利精品久久,а√最新版在线天堂,另类亚洲综合区图片小说区,亚洲欧美日韩精品色xxx

扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)簡述數(shù)據(jù)挖掘中最易栽的坑

2019-03-20 11:41:56 2400瀏覽

如今學(xué)習(xí)大數(shù)據(jù)開發(fā)技術(shù)的人在不斷的增加，不論是參加大數(shù)據(jù)培訓(xùn)還是自學(xué)大數(shù)據(jù)開發(fā)技術(shù)都需要很用心，因為數(shù)據(jù)挖掘并不是一件簡單的事情，本篇文章扣丁學(xué)堂大數(shù)據(jù)培訓(xùn)小編給讀者們分享一下數(shù)據(jù)挖掘中最易栽的坑，希望對小伙伴有所幫助。

1、缺乏數(shù)據(jù)(Lack Data)

對于分類問題或預(yù)估問題來說，常常缺乏準(zhǔn)確標(biāo)注的案例。

例如：

欺詐偵測(Fraud Detection)：在上百萬的交易中，可能只有屈指可數(shù)的欺詐交易，還有很多的欺詐交易沒有被正確標(biāo)注出來，這就需要在建模前花費大量人力來修正。

信用評分(Credit Scoring)：需要對潛在的高風(fēng)險客戶進行長期跟蹤(比如兩年)，從而積累足夠的評分樣本。

2、太關(guān)注訓(xùn)練(Focus on Training)

IDMer：就象體育訓(xùn)練中越來越注重實戰(zhàn)訓(xùn)練，因為單純的封閉式訓(xùn)練常常會訓(xùn)練時狀態(tài)神勇，比賽時一塌糊涂。

實際上，只有樣本外數(shù)據(jù)上的模型評分結(jié)果才真正有用。

例如：

癌癥檢測(Cancer detection)：MD Anderson的醫(yī)生和研究人員(1993)使用神經(jīng)網(wǎng)絡(luò)來進行癌癥檢測，驚奇地發(fā)現(xiàn)，訓(xùn)練時間越長，對訓(xùn)練集的性能改善非常輕微，但在測試集上的性能卻明顯下降。

機器學(xué)習(xí)或計算機科學(xué)研究者常常試圖讓模型在已知數(shù)據(jù)上表現(xiàn)最優(yōu)，這樣做的結(jié)果通常會導(dǎo)致過度擬合(overfit)。

解決方法：

解決這個問題的典型方法是重抽樣(Re-Sampling)。重抽樣技術(shù)包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

3、只依賴一項技術(shù)(Rely on One Technique)

IDMer：這個錯誤和第10種錯誤有相通之處，請同時參照其解決方法。沒有對比也就沒有所謂的好壞，辯證法的思想在此體現(xiàn)無遺。

“當(dāng)小孩子手拿一把錘子時，整個世界看起來就是一枚釘子?！币胱尮ぷ鞅M善盡美，就需要一套完整的工具箱。

不要簡單地信賴你用單個方法分析的結(jié)果，至少要和傳統(tǒng)方法(比如線性回歸或線性判別分析)做個比較。

解決方法：

使用一系列好的工具和方法。(每種工具或方法可能最多帶來5%~10%的改進)。

4、提錯了問題(Ask the Wrong Question)

IDMer：一般在分類算法中都會給出分類精度作為衡量模型好壞的標(biāo)準(zhǔn)，但在實際項目中我們卻幾乎不看這個指標(biāo)。為什么?因為那不是我們關(guān)注的目標(biāo)。

(1)項目的目標(biāo)：一定要鎖定正確的目標(biāo)

例如：

欺詐偵測(Shannon實驗室在國際長途電話上的分析)：不要試圖在一般的通話中把欺詐和非欺詐行為分類出來，重點應(yīng)放在如何描述正常通話的特征，然后據(jù)此發(fā)現(xiàn)異常通話行為。

(2)模型的目標(biāo)：讓計算機去做你希望它做的事

大多數(shù)研究人員會沉迷于模型的收斂性來盡量降低誤差，這樣讓他們可以獲得數(shù)學(xué)上的美感。但更應(yīng)該讓計算機做的事情應(yīng)該是如何改善業(yè)務(wù)，而不是僅僅側(cè)重模型計算上的精度。

5、只靠數(shù)據(jù)來說話(Listen (only) to the Data)

IDMer：“讓數(shù)據(jù)說話”沒有錯，關(guān)鍵是還要記得另一句話：兼聽則明，偏聽則暗!如果數(shù)據(jù)+工具就可以解決問題的話，還要人做什么呢?

(1)投機取巧的數(shù)據(jù)：數(shù)據(jù)本身只能幫助分析人員找到什么是顯著的結(jié)果，但它并不能告訴你結(jié)果是對還是錯。

(2)經(jīng)過設(shè)計的實驗：某些實驗設(shè)計中摻雜了人為的成分，這樣的實驗結(jié)果也常常不可信。

6、使用了未來的信息(Accept Leaks from the Future)

IDMer：看似不可能，卻是實際中很容易犯的錯誤，特別是你面對成千上萬個變量的時候。認(rèn)真、仔細、有條理是數(shù)據(jù)挖掘人員的基本要求。

預(yù)報(Forecast)示例：預(yù)報芝加哥銀行在某天的利率，使用神經(jīng)網(wǎng)絡(luò)建模，模型的準(zhǔn)確率達到95%。但在模型中卻使用了該天的利率作為輸入變量。

金融業(yè)中的預(yù)報示例：使用3日的移動平均來預(yù)報，但卻把移動平均的中點設(shè)在今天。

解決方法：

要仔細查看那些讓結(jié)果表現(xiàn)得異常好的變量，這些變量有可能是不應(yīng)該使用，或者不應(yīng)該直接使用的。

給數(shù)據(jù)加上時間戳，避免被誤用。

以上就是扣丁學(xué)堂大數(shù)據(jù)在線學(xué)習(xí)小編給大家分享的數(shù)據(jù)挖掘中最易栽的坑，希望對小伙伴們有所幫助，想要了解更多內(nèi)容的小伙伴可以登錄扣丁學(xué)堂官網(wǎng)咨詢。想要學(xué)好大數(shù)據(jù)開發(fā)小編給大家推薦口碑良好的扣丁學(xué)堂，扣丁學(xué)堂有專業(yè)老師制定的大數(shù)據(jù)學(xué)習(xí)路線圖輔助學(xué)員學(xué)習(xí)，此外還有與時俱進的大數(shù)據(jù)視頻教程供大家學(xué)習(xí)，想要學(xué)好Python開發(fā)技術(shù)的小伙伴快快行動吧。扣丁學(xué)堂大數(shù)據(jù)學(xué)習(xí)群：209080834。

     【關(guān)注微信公眾號獲取更多學(xué)習(xí)資料】           【掃碼進入HTML5前端開發(fā)VIP免費公開課】

查看更多關(guān)于“大數(shù)據(jù)培訓(xùn)資訊”的相關(guān)文章>