決策樹(DT)是一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，用于解決分類和回歸問題。以下了解一下如何使用剪枝(Pruning)方法設(shè)計(jì)一個(gè)決策樹。

決策樹分析是一種通用的、預(yù)測性的機(jī)器學(xué)習(xí)建模工具。它是機(jī)器學(xué)習(xí)最簡單、最有用的結(jié)構(gòu)之一，通過使用一種根據(jù)不同條件拆分?jǐn)?shù)據(jù)集的算法方法構(gòu)建了決策樹。而決策樹是監(jiān)督學(xué)習(xí)中常用的功能性技術(shù)之一。

但在采用剪枝方法設(shè)計(jì)決策樹之前，需要了解它的概念。

理解決策樹

決策樹是一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，用于解決分類和回歸問題。決策樹遵循一組嵌套的if-else語句條件來進(jìn)行預(yù)測。由于決策樹主要用于分類和回歸，因此用于生長它們的算法稱為CART(分類和回歸樹)。并且提出了多種算法來構(gòu)建決策樹。決策樹旨在創(chuàng)建一個(gè)模型，通過學(xué)習(xí)從數(shù)據(jù)特征推斷出的簡單決策規(guī)則來預(yù)測目標(biāo)變量的值。

決策樹的每個(gè)節(jié)點(diǎn)代表一個(gè)決策。

在上圖中，根節(jié)點(diǎn)是深度為零的決策樹圖的起點(diǎn)。然后是進(jìn)行二叉決策的子節(jié)點(diǎn)/內(nèi)部節(jié)點(diǎn)。最后，還有葉節(jié)點(diǎn)，用于對類別進(jìn)行預(yù)測。

有助于構(gòu)建決策樹的算法旨在從變量及其屬性中預(yù)測目標(biāo)變量。決策樹的結(jié)構(gòu)是通過從根節(jié)點(diǎn)到分支的二叉序列進(jìn)行分割的。內(nèi)容要到達(dá)決策樹中的葉節(jié)點(diǎn)，必須傳遞多個(gè)內(nèi)部節(jié)點(diǎn)來檢查所做的預(yù)測。

構(gòu)建決策樹時(shí)的假設(shè)

使用決策樹時(shí)必須做出的一些假設(shè)是：

• 整個(gè)訓(xùn)練集是根。
• 最好有分類特征值。在構(gòu)建決策樹模型之前使用離散值。
• 屬性值用于遞歸分發(fā)記錄。
• 統(tǒng)計(jì)方法用于確定應(yīng)將哪些屬性放置為決策樹的根節(jié)點(diǎn)或內(nèi)部節(jié)點(diǎn)。

在決策樹中使用乘積和(SOP)或析取范式表示。

一個(gè)類中的每個(gè)分支，從根到具有不同分支結(jié)尾的決策樹的葉節(jié)點(diǎn)形成一個(gè)析取(和)，同一個(gè)類則形成值的合取(乘積)。

為什么選擇決策樹?

決策樹遵循與人類在現(xiàn)實(shí)生活中做出決策相同的過程，使其更易于理解。這對于解決機(jī)器學(xué)習(xí)中的決策問題至關(guān)重要。它普遍用于訓(xùn)練機(jī)器學(xué)習(xí)模型的原因是因?yàn)闆Q策樹有助于思考問題的所有可能結(jié)果。此外，與其他算法相比，對數(shù)據(jù)清理的要求更少。

但是，決策樹也有它的局限性，那就是過擬合。

決策樹中的過擬合

過擬合是決策樹中的一個(gè)重要的難題。如果允許決策樹增長到最大深度，它將總是過擬合訓(xùn)練數(shù)據(jù)。當(dāng)決策樹被設(shè)計(jì)為完美擬合訓(xùn)練數(shù)據(jù)集中的所有樣本時(shí)，就會(huì)發(fā)生過擬合。因此，決策樹最終會(huì)產(chǎn)生具有嚴(yán)格稀疏數(shù)據(jù)規(guī)則的分支，這會(huì)通過使用不屬于訓(xùn)練集的樣本來影響預(yù)測的準(zhǔn)確性。決策樹越深，決策規(guī)則序列就越復(fù)雜。而分配最大深度是簡化決策樹和處理過擬合的最簡單方法。

但是如何以更精確的方式改進(jìn)決策樹模型呢?以下進(jìn)行一下了解。

如何通過剪枝防止決策樹中的過擬合?

剪枝是一種用于消除決策樹中過擬合的技術(shù)。它通過消除最弱規(guī)則來簡化決策樹，可以進(jìn)一步分為：

• 預(yù)剪枝是指通過設(shè)置約束來限制決策樹在早期階段的生長。為此，可以使用超參數(shù)調(diào)整來設(shè)置min_samples_split、min_samples_leaf或max_depth等參數(shù)。
• 在構(gòu)建決策樹之后使用后剪枝方法。當(dāng)決策樹變得非常深入并顯示模型過擬合時(shí)使用它。為此，還將通過成本復(fù)雜性剪枝來控制決策樹分支，例如max_samples_split和max_depth。

剪枝從一棵未剪枝的決策樹開始。然后獲取子樹序列，通過交叉驗(yàn)證選擇最佳的子樹序列。

剪枝可以確保子樹是最優(yōu)的，這一點(diǎn)很重要，也就是說它具有更高的精度，并且最優(yōu)子樹搜索在計(jì)算上是易于處理的。因此，剪枝不僅應(yīng)該減少過擬合，而且還應(yīng)該使決策樹比未剪枝的決策樹更簡單、更容易理解和更有效地解釋，同時(shí)保持其性能。

結(jié)語

現(xiàn)在人們知道決策樹屬于一種有監(jiān)督的機(jī)器學(xué)習(xí)算法。與其他監(jiān)督學(xué)習(xí)算法相比，決策樹也可用于解決分類和回歸問題。

決策樹用于構(gòu)建模型，以基于從先前訓(xùn)練數(shù)據(jù)中得出的簡單決策規(guī)則來預(yù)測變量值或類別。剪枝有助于決策樹做出精確的決策，同時(shí)降低其復(fù)雜性并設(shè)置約束。

原文標(biāo)題：How to Design a Better Decision Tree With Pruning，作者：Mahipal Nehra