Top-k Accuracy：模型優化策略不一定徒勞無功 原創
構建模型通常是一個迭代過程，給定數據集：
- 訓練模型
- 評估模型
- 改進，直到滿意為止
你的改進策略不一定徒勞無功！
如何評估模型是否進步了呢？通常會使用某些性能指標來評估改進策略的有效性。
然而，在多分類問題中，當使用“Accuracy”指標評估改進策略有效性時，通常帶有欺騙性。
換句話，某些改進策略其實已經提升模型性能了，但通過“Accuracy”這個指標沒有反映出來。
“Accuracy”陷阱
這里的“Accuracy”其實應該是“Top-1 Accuracy”。
在多分類問題中，Accuracy由具有最高概率值的標簽決定。
實際的標簽雖然可能并不是模型預測概率最高的標簽，但它位于模型輸出的前“k”個標簽之中。
如下面圖，實際的標簽（類別C）并不是概率最高的標簽，但它至少在前2個預測概率最高的標簽之中（類別B和類別C）：
如果上一個版本中，類別C的輸出概率是最低的，就像下面所示：
雖然在這兩種情況下，最終的預測結果都是錯誤的(模型預測標簽C不是最高概率)。
但是，在從“版本1”迭代到“版本2”的過程中，通過使用一些模型改進技術，我們確實取得了實質性的進步(從倒數第一上升到第二)。
盡管如此，準確率（Accuracy）完全忽略了這一點，因為它只關注概率最高的標簽。
解決辦法：top-k Accuracy
在模型迭代過程中，“top-k Accuracy”可能會持續提高，這反映了性能的提升。然而，準確率可能會在一段時間內保持不變，如下所示：
所以，top-k Accuracy常用于評估模型改進策略，模型最終性能仍然要通過top-1 Accuracy評估。
在Scikit-learn中也提供了top-k Accuracy評估指標。
在二分類問題中，因為只有兩個類別，模型的輸出通常只是一個概率值，用于表示正樣本的概率，使用準確率、精確率、召回率就夠用了。
性能指標vs損失函數
最后再說一下模型性能評估指標和損失值的區別。
損失值用于訓練過程中，衡量模型預測結果與真實標簽之間的差異，指導模型的參數更新。
模型性能指標主要用于評估模型的泛化能力，即模型在未見過的數據上的表現。通常衡量模型的預測準確性、精確率、召回率、F1 分數等。
本文轉載自公眾號人工智能大講堂
