貝氏決策法則(Bayesian decision rule): 最大後驗機率法(Maximum a posterior, MAP)

貝氏決策法則是一種基於貝氏統計的學習方法，主要決策方法為最大後驗機率法(Maximum a posterior, MAP)，一般文章都是寫個公式出來，自己去體驗背後的意義。第一次看到的人都會覺得很畸形，但其實概念很簡單，就是找最大化的後驗機率(廢話)。

假設有一個L類別{ w1,w2,…,wL}的分類問題，有一個樣本x會被判成哪一類?

就是這個樣本丟進「每個類別資料學出來的模型」中算出後驗機率，然後看哪一類的後驗機率最大就判給哪一類，不免俗要寫一下公式

這個p(wi|x)就是後驗機率(posteriori probability)，讀法為「給定樣本x下，判給wi這個類別的機率」，好抽象唷。

所以要轉換思考方式

這邊舉個例子來說明MAP。

假設有一個兩類的分類問題(男生和女生)，有10個女生身高的資料，有20個男生身高的資料。

事前機率(priori probability)

我們先想想所以有什麼東西是進行模型學習前可以知道的→男生和女生資料的個數(20:10)。

事前機率計算要follow機率三大公理，所以一般MAP用到的事前機率為計算訓練樣本的個數

P(男生)=20/(20+10)=2/3

P(女生)=10/(20+10)=1/3

概似函數 (likelihood function)

從公式去看的確是看某一類別的機率密度函數，所以也稱為類別條件密度函數(class-conditional density function)。

這邊比較抽象p(x|wi)讀成「給定樣本wi的資料下，x屬於wi這個類別的機率」→剛剛的例子p(x|男生)白話解釋「樣本x在男生身高分佈的機率」。

這個紫色的分佈圖就是wi類別條件密度函數，一般都是用高斯函數當作機率密度函數，當然也可以換成其他的分佈。

全機率部份，可以讓後驗機率符合機率三大公理，全部類別的分子值加起來等於1。

後面的圖例，事前機率我先設定每一類都是一樣的，後驗機率和概似函數的關係如下圖

所以此例的x會判別給女生。