選擇kernel function的時候,是根據能不能投影到linear separable feature space進行的嗎?
ANS: No,因為光是你自己的raw data(多維度)你都沒有辦法畫出raw data人眼看得的2D或是3D維度,就算真的找到適合你資料的kernel也很難畫出2D/3D的視覺圖出來,所以你也無法知道是不是可以進行linear separable feature space。
還是說,經驗上有一些常用的kernel function,都應該試一下,至於哪個能生成分離類別的多維空間,我們也不清楚,kernel僅用於嘗試不同投影?
ANS: 大部分的情況的確是常用的kernel function都應該試一下,然後找合適的(performance最好的)。我學長的研究有可以從自動算法找到最佳的合成kernel function/最適合參數,減少grid search找kernel的時間,可以參考一下。 http://www.powercam.cc/slide/9154
同一個kernel function,得到的投影函數是唯一的嗎?或者說如果固定維度數n,投影函數唯一嗎?
ANS: 參數固定,應該是唯一;但假設RBF kernel的gamma一直調整,那特徵空間就會一直跟著變換。這也是SVM強大的地方,參數換一下資料的特徵間就不同,所以可以用不同方法試著找到適合你這組資料特性的特徵空間。
我看書一直說kernel的好處是減少計算量,因為兩個投影函數的內積比計算kernel的複雜度低。然後上面的例子是找了map function, 但理想情況應該是避免這個操作?
ANS: 因為我們無法有效直接找到投影函數( φ),所以直接用kernel來取代投影函數( φ),所以kernel的計算的確比投影函數( φ)來的少。找map function只是為了視覺呈現kernel在參數固定下怎麼解決非線性問題,實際上鮮少有人在做SVM在多維度下找map function。
是不是model/classifier可以用kernel function表示(data-based model form), 所以才顯出kernel的優勢來?
ANS: 是,所以十幾年前的研究有很多基於kernel發展的分類器/特徵萃取法。(為什麼說十幾年,因為這幾年我都沒有在看SVM的發展)