在機(jī)器學(xué)習(xí)中，交叉驗(yàn)證是一種非常重要的模型評(píng)估方法，它就像是給模型進(jìn)行“多場(chǎng)景考試”，確保模型在不同的數(shù)據(jù)上都能表現(xiàn)良好。

今天，我們就用最通俗易懂的方式來(lái)講解交叉驗(yàn)證，幫助你更好地理解這個(gè)概念。

No.1交叉驗(yàn)證是什么？

想象你是一個(gè)廚師，你開(kāi)發(fā)了一道新菜，想讓朋友嘗嘗好不好吃。如果你只讓一個(gè)朋友試吃，可能他的口味太獨(dú)特，評(píng)價(jià)不一定客觀。

所以，你可能會(huì)：

• 多找?guī)讉€(gè)朋友試吃（用不同數(shù)據(jù)測(cè)試模型）。
• 讓朋友輪流試吃不同的菜（用不同組合的數(shù)據(jù)訓(xùn)練和測(cè)試模型）。

這就是交叉驗(yàn)證的核心邏輯——避免偶然性，得到更可靠的結(jié)果。

交叉驗(yàn)證的基本原理

交叉驗(yàn)證法的核心是將數(shù)據(jù)集分成訓(xùn)練集（用于訓(xùn)練模型）和測(cè)試集（用于評(píng)估模型）。

圖片

但與簡(jiǎn)單的一次性劃分不同，交叉驗(yàn)證會(huì)多次劃分?jǐn)?shù)據(jù)，每次用不同的數(shù)據(jù)組合來(lái)訓(xùn)練和測(cè)試模型，最終綜合多次結(jié)果來(lái)評(píng)估模型性能。

No.2常見(jiàn)的交叉驗(yàn)證方法

1. K折交叉驗(yàn)證（K-Fold Cross-Validation）

K折交叉驗(yàn)證是最常用的交叉驗(yàn)證方法之一。它將數(shù)據(jù)集分成K個(gè)部分，每次用一個(gè)部分作為測(cè)試集，其他K-1個(gè)部分作為訓(xùn)練集，重復(fù)K次，最后取平均效果。

圖片

假設(shè)你有10個(gè)蘋(píng)果，要測(cè)試哪個(gè)蘋(píng)果最甜。你把這10個(gè)蘋(píng)果分成10組（K = 10），每次拿1個(gè)蘋(píng)果出來(lái)嘗（測(cè)試集），剩下的9個(gè)蘋(píng)果用來(lái)比較（訓(xùn)練集），這樣嘗10次，就能更準(zhǔn)確地知道哪個(gè)蘋(píng)果最甜了。

優(yōu)點(diǎn)是能充分利用數(shù)據(jù)，評(píng)估結(jié)果更穩(wěn)定可靠；缺點(diǎn)是計(jì)算量相對(duì)較大，尤其是當(dāng)K值較大或者數(shù)據(jù)集很大的時(shí)候。

2. 留一法交叉驗(yàn)證（Leave-One-Out Cross-Validation, LOOCV）

這是K折交叉驗(yàn)證的一個(gè)特例，當(dāng)K等于數(shù)據(jù)集的大小時(shí)，就變成了留一交叉驗(yàn)證。

也就是說(shuō)，每次只留下一個(gè)樣本作為測(cè)試集，剩下的所有樣本作為訓(xùn)練集，進(jìn)行與數(shù)據(jù)集大小相同次數(shù)的訓(xùn)練和測(cè)試。

圖片

還是那10個(gè)蘋(píng)果，這次你每次只嘗1個(gè)蘋(píng)果（測(cè)試集），剩下的9個(gè)蘋(píng)果用來(lái)比較（訓(xùn)練集），要嘗10次，雖然結(jié)果很準(zhǔn)確，但太費(fèi)時(shí)間了。

優(yōu)點(diǎn)是能最大程度地利用數(shù)據(jù)，評(píng)估結(jié)果非常準(zhǔn)確；缺點(diǎn)是計(jì)算量極大，當(dāng)數(shù)據(jù)集很大的時(shí)候，幾乎無(wú)法實(shí)現(xiàn)。

3. 自助法（Bootstrap）

自助法是一種通過(guò)隨機(jī)抽樣來(lái)評(píng)估模型性能的方法。它從數(shù)據(jù)集中隨機(jī)抽取一部分?jǐn)?shù)據(jù)（可以重復(fù)抽樣），用這部分?jǐn)?shù)據(jù)作為訓(xùn)練集，剩下的數(shù)據(jù)作為測(cè)試集。

圖片

就像從裝有10個(gè)小球的袋子里，每次隨機(jī)抽一個(gè)小球并放回，重復(fù)10次。沒(méi)被抽到的小球作為測(cè)試集。多次重復(fù)后，雖能大致了解小球顏色分布，但可能有偏差，因?yàn)橛行┬∏蚩赡鼙欢啻纬榈剑行﹦t未抽到。

優(yōu)點(diǎn)是適用于小數(shù)據(jù)集，能生成多個(gè)訓(xùn)練集，有助于評(píng)估模型穩(wěn)定性。缺點(diǎn)是改變了原始數(shù)據(jù)分布，可能引入偏差，因?yàn)椴糠謽颖究赡苤貜?fù)使用，部分樣本未被使用。

No.3如何選擇歸一化或標(biāo)準(zhǔn)化？

?? 準(zhǔn)備數(shù)據(jù)：收集并整理好用于模型訓(xùn)練和評(píng)估的數(shù)據(jù)集。

?? 劃分?jǐn)?shù)據(jù)：將數(shù)據(jù)集平均分成 K 份，確保每份數(shù)據(jù)的大小和分布大致相同。

圖片

訓(xùn)練和測(cè)試循環(huán)：

• 第一次：選擇第 1 份作為測(cè)試集，其余 K - 1 份作為訓(xùn)練集，訓(xùn)練模型并在測(cè)試集上進(jìn)行評(píng)估，記錄評(píng)估指標(biāo)（如準(zhǔn)確率、均方誤差等）。
• 第二次：選擇第 2 份作為測(cè)試集，其余作為訓(xùn)練集，重復(fù)訓(xùn)練和評(píng)估過(guò)程，記錄指標(biāo)。
• ……
• 第 K 次：選擇第 K 份作為測(cè)試集，其余作為訓(xùn)練集，完成訓(xùn)練和評(píng)估，記錄指標(biāo)。

綜合評(píng)估：將 K 次測(cè)試得到的評(píng)估指標(biāo)取平均值，作為模型的最終評(píng)估結(jié)果。

本文轉(zhuǎn)載自??Fairy Girl??，作者：Fairy Girl