混淆矩陣之 Accuracy, MCC, F1 score

前面兩篇文章談及預測準不準確的測量如下：

• 《混淆矩陣之 Sensitivity vs. Specificity》：以實際有無數量為分母的好壞判斷
• 《混淆矩陣之 Precision vs. NPV》：以陰陽性數量為分母的好壞判斷

這兩種都是要用多個數字來看預測準不準，這邊要介紹的則是用一個數值來看。要注意的是，因為只有用一個數字，所以一些極端的狀況下反而會有誤導。這些數值包含了：

• ACC：Accuracy、準確率。數值在0到1之間，越大越準
• 一般的檢測最愛拿這個當作標準，但如果實際有與實際無的數量差很多，使用ACC無法判斷檢測是不是好的。
• MCC：Matthews correlation coefficient，數值會在-1到1之間
• 數值靠近0：代表跟隨機亂猜差不多
• 數值遠離0：正的代表預測的很準、負值代表是反指標
• F1 score：又稱為F-score或F-measure
• sensitivity與precision的調和平均數，在0到1之間越大越好

跟之前一樣，先把混淆矩陣confusion matrix寫出來：

		真實情況
		有, +	無, -
預 測 結 果	陽性 Positive, P	(真陽性, TP)	(偽陽性, FP)	(P=TP+FP)
	陰性 Negative, N	(偽陰性, FN)	(真陰性, TN)	(N=FN+TN)
		(y=TP+FN)	(n=FP+TN)	(Total = P+N = y+n)

上述表格裡面使用(小括號)圈起來的代表是要填寫自然數，裡面縮寫分別代表：

• y：實際有的數量
• n：實際無的數量
• P：預測陽性的數量
• N：預測陰性的數量
• Total：觀測的總數量

所以前面說的幾個測量值的計算方法是：

• ACC = (TP+TN) ÷ Total：準確率
• MCC = [TP*TN - FP*FN] ÷ [(TP+FP)*(TP+FN)*(TN+FP)*(TN+FN)]^1/2
• F1 score = 2 * (Sensitivity*Precision) ÷ (Sensitivity+Precision)

相關資料

• 混淆矩陣之 Precision (PPV) vs. NPV
• 混淆矩陣之 Sensitivity vs. Specificity

_EOF_