機器學習: 決策樹 (Decision Tree)

決策樹的結構

決策樹是由「節點」和「有向邊」組成。

節點分兩種類型：「內部節點」與「葉子節點」。
內部節點：表示一個特徵
葉子節點：表示一個類。

判斷方式就是: 樣本通過「內部節點」的各個特徵的判斷，最終會到達屬於它的「葉子節點」，最後此樣本就被分在此類別。

我在網路上找個例子說明決策樹的結構

女生要相親之前通過「年齡」、「長相」、「收入」和「是否為公務員」這4個特徵，來決定「見面」與「不見面」的兩個類別，決策樹的結構就有可能像下圖:

一般都是用類似上圖這種結構來說明決策樹怎麼做分類

我這邊會簡單的例子(用XOR問題當做例子)從特徵空間來說明一下。

這邊我決策方式是先從x1切割再從x2切割。維度數在增加特徵空間可以切割的方式就更複雜，因為要簡化說明所以不舉三維度以上的例子。

這邊在額外舉一個例子，基本上看圖應該就看的出來，決策樹怎麼分類了，當然決策樹每個「內部節點」不只是二分類，也可以是多分類，這邊為了簡化只舉二分類的例子。