閉著眼學機器學習—樸素貝葉斯分類

AIPaperDaily

發(fā)布于 2025-1-16 12:17

瀏覽

0收藏

1. 算法介紹

樸素貝葉斯是一種基于貝葉斯定理的分類算法,廣泛應用于文本分類、垃圾郵件過濾、情感分析等領域。它是一種簡單但非常有效的分類方法,特別適用于高維度特征空間的分類問題。

樸素貝葉斯分類器的"樸素"來源于它對特征之間獨立性的假設。盡管這個假設在現實中往往不成立,但該算法在許多實際應用中仍然表現出色。

2. 算法原理

閉著眼學機器學習—樸素貝葉斯分類-AI.x社區(qū)

3. 案例分析

我們使用著名的鳶尾花(Iris)數據集來演示樸素貝葉斯分類器的應用。

首先建立樸素貝葉斯分類模型訓練數據進行分類并打印分類結果：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, classification_report
from sklearn.decomposition import PCA

# 加載數據
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 劃分訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 創(chuàng)建并訓練模型
gnb = GaussianNB()
gnb.fit(X_train, y_train)

# 預測
y_pred = gnb.predict(X_test)

# 評估模型
accuracy = accuracy_score(y_test, y_pred)
print(f"準確率: {accuracy:.2f}")

print("\n分類報告:")
print(classification_report(y_test, y_pred, target_names=iris.target_names))

打印出模型的準確率和分類報告如下：

接下來對分類結果進行可視化：

# 可視化
# 使用PCA降維到2D
pca = PCA(n_compnotallow=2)
X_pca = pca.fit_transform(X)

# 繪制散點圖
plt.figure(figsize=(10, 8))
colors = ['red', 'green', 'blue']
for i, c in zip(range(3), colors):
    plt.scatter(X_pca[y == i, 0], X_pca[y == i, 1], c=c, label=iris.target_names[i])

plt.title('鳶尾花數據集的PCA可視化')
plt.xlabel('第一主成分')
plt.ylabel('第二主成分')
plt.legend()
plt.show()

# 繪制決策邊界
x_min, x_max = X_pca[:, 0].min() - 0.5, X_pca[:, 0].max() + 0.5
y_min, y_max = X_pca[:, 1].min() - 0.5, X_pca[:, 1].max() + 0.5
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02),
                     np.arange(y_min, y_max, 0.02))
Z = gnb.predict(pca.inverse_transform(np.c_[xx.ravel(), yy.ravel()]))
Z = Z.reshape(xx.shape)

plt.figure(figsize=(10, 8))
plt.contourf(xx, yy, Z, alpha=0.8, cmap=plt.cm.RdYlBu)
plt.scatter(X_pca[:, 0], X_pca[:, 1], c=y, cmap=plt.cm.RdYlBu, edgecolor='black')
plt.title('樸素貝葉斯分類器的決策邊界')
plt.xlabel('第一主成分')
plt.ylabel('第二主成分')
plt.show()

繪制數據降維后的數據散點圖：

繪制樸素貝葉斯分類結果圖：

在這個例子中,我們使用了高斯樸素貝葉斯分類器(GaussianNB),它假設特征的條件概率分布服從高斯分布。模型在測試集上達到了98%的準確率,表現相當不錯。