Entropy是接收的所有訊息中所包含的資訊的「加權」平均量。

1. 機率低＝資訊量/訊息量大 (agree)
p(x)=0.1→ I(p(x))=3.32
p(x)=0.2→ I(p(x))=2.32
p(x)=0.9:→I(p(x))=0.15

2. 資料不確定性越大＝entropy大 (agree)

但1和2不能畫上等號

entropy還是要觀察「所有訊息」的分布，entropy大只能表示「所有訊息」的分布趨向Uniform distribution，如果「所有訊息」的分布趨向集中的Normal distribution，entropy越小。

比如投骰子，公平的骰子1~6點的機率出現都是1/6
但假設有一個作弊的骰子1~6點的機率是{1: 0.01, 2: 0.01, 3: 0.95, 4: 0.01, 5: 0.01, 6: 0.01}
這時候公平骰子的entropy是2.493
這時候作弊的骰子的entropy是0.402
但整體看機率分布可以得知Uniform distribution的Entropy一定是最大的

我這邊才會寫entropy是看資料的亂度/不確定性，因為資料越趨向Uniform distribution代表資料越難被猜到，資料越是趨向集中的高斯分布則是越容易知道什麼資料會被猜出來。

不好意思，我其實不知道你的response要表達什麼，上面討論有回答到「 entropy是看資料的亂度或是資料的不確定性」的部分嗎?