Likelihood

與概率(probability)與Likelihood是一體的兩面

對於觀測的結果(data)，其出現的概率稱做為probability，寫成 P(data)。對於不同的結果，可用模式(model)來預測其出現的可能性。在這邊data是變動的，而model是固定的：

1. P(data1 | model)
2. P(data2 | model)
3. P(data3 | model)

但是通常觀測的結果是會有一組，所以對於某組觀測的結果根據不同的模式計算出來的可能性則稱做likelihood，寫成 L。在這邊model是變動的，而data則是固定的，表示成：

1. L(model1 | data)
2. L(model2 | data)
3. L(model3 | data)

不管是probability還是likelihood，說的都是data出現的可能性，因此可以寫成：

• P(dataX | modelY) = L(modelY | dataX) 

兩者差別在於解釋方法不同：

• P(data | model) ：不同的data根據某個model來解釋，不同data出現的可能性
• L(model | data) ：不同的model來解釋某個data，不同model解釋下，data出現的可能性

Likelihood的重點在，根據一組已知的data來調整model，精確地說應該是調整model裡面的參數(parameters)。如果說likelihood大，代表的是model能反映出data的樣貌; 如果likelihood小，代表model不太能夠反映出data的樣貌。

總是會希望得到最好的model，意思就是這model最能夠反映出data，所以就會去調整likelihood function L(model | data) 裡面的model的參數，以得到最佳的model來解釋data，這個過程就叫做maximum likelihood estimation。

要特別注意的是，maximum likelihood estimation得到的模式只會是最適合某觀測結果，但要是data有所偏差，那這樣做出來的模式也許就不會是最佳的那個，範例可以陳鍾誠寫的最大慨似估計。


Probability與Likelihood看起來很像條件機率，可以參考Bayes's Theorem
_EOF_