Tommy Huang
2 min readMar 18, 2019

--

結尾提到"如果標準差太大代表模型的穩定度不夠好,在做generalized model的時候這個方法可能就不太合適",意思是說假設你有一組data然後用5-fold做模型驗證100次,結果模型預測出來的100次正確率內有99%、10%、50%...
發生這種狀況基本上問題大概可分為兩種

第一種是你提的問題,這樣代表說你設計的這個模型穩定性很差,在應用問題上的這個模型的代表性/通用性不足,之後這個模型用來實際應用,根本無法準確預測這個訓練模型在實際應用結果。舉個例子,比如說訓練自駕車判斷前面是不是有障礙物,訓練出來的模型標準差非常大,卻採用這個模型上路,車子實際在道路上行駛,結果有個人衝出來模型一下判斷說前方沒有障礙物可行駛一下說有障礙物不可行駛,這種情況就不是我們樂見的。

第二種是資料的代表性不足。大數據big data裡面提的到4v「資料量(volume)、速度(velocity)、多樣性(variety)和真實性(Veracity)」,我們通常希望模型訓練時資料的代表性要足夠,也就是4v內的真實性(Veracity),我們實際要應用時會希望模型學習到的資訊和實際應用時的情境是來自正確的訊息(從統計學來看就是希望訓練用的資料和實際應用的資料分布是一致的),比如說你要做一個圖像分類器是分貓和狗,結果你訓練資料裡面都是狐狸和熊只有少部分的貓狗資料,這時候你要去應用在分類貓狗時,這個模型就完全是爛的無法使用。

所以我們會希望設計出來的模型,準確率不但要高而且經由Cross validation後標準差要小,這個模型才合適。

題外話: 深度學習模型不太適合做cross validation,因為hyperparameter太多,用cross validation的方式處理可能會跑到天荒地老,所以深度學習的策略不太一樣。

--

--

Tommy Huang
Tommy Huang

Written by Tommy Huang

怕老了忘記這些吃飯的知識,開始寫文章記錄機器/深度學習相關內容。Medium現在有打賞功能(每篇文章最後面都有連結),如果覺得寫的文章不錯,也可以Donate給個Tipping吧。黃志勝 Chih-Sheng Huang (Tommy), mail: chih.sheng.huang821@gmail.com

Responses (2)