終于把統(tǒng)計學中的抽樣方法搞懂了！！！
今天給大家分享統(tǒng)計學中的一個關鍵知識點，抽樣。
抽樣是指從一個大的總體中選取一個小的子集（即樣本）的過程，以便推斷或估計總體的一些特征或參數。
由于在很多實際問題中，我們無法對整個總體進行全面的研究，抽樣為我們提供了一種通過樣本推斷總體特征的方法。
通過合理的抽樣，可以減少研究的成本和時間，同時盡可能地保留對總體特征的代表性。
抽樣的基本概念
- 總體
總體是指所有感興趣的個體或元素的集合，通常是一個非常大的群體。
例如，某個國家的所有公民、所有產品的質量數據等。 - 樣本
樣本是從總體中選取的一個子集。 - 抽樣方法
抽樣方法是決定如何從總體中選取樣本的規(guī)則和步驟。不同的抽樣方法有不同的特性和適用場景。
抽樣的基本流程
- 定義總體
首先，需要明確研究的對象，即總體。總體可以是一個具體的人群、物品或事件集合。 - 確定抽樣目標
明確研究的目的和需要分析的總體特征。抽樣的目的是通過樣本來估計總體的某些統(tǒng)計量（如均值、方差等）。 - 選擇抽樣方法
根據研究的需要和總體的特點，選擇合適的抽樣方法。 - 抽取樣本
根據選定的抽樣方法，從總體中抽取樣本。 - 數據收集和分析
對樣本進行數據收集和分析，通過統(tǒng)計方法推斷總體的特征。
抽樣的類型
抽樣方法可以分為兩大類：概率抽樣和非概率抽樣。
概率抽樣
在概率抽樣中，每個個體有已知的、非零的概率被選中。
概率抽樣的優(yōu)點是可以確保樣本的代表性，并且結果可以通過概率理論進行推斷，具備更高的統(tǒng)計可靠性。
常見的概率抽樣方法包括：
簡單隨機抽樣
在簡單隨機抽樣中，每個總體中的個體都有相同的概率被選中，且每次選擇都不依賴于之前的選擇。通過這種方法，樣本具有最大的代表性。
特點：每個個體被選擇的概率相等。
優(yōu)點：統(tǒng)計推斷簡單，易于理解；樣本選擇過程簡單，操作性強。
缺點：如果總體很大，簡單隨機抽樣可能不夠高效，可能會需要很大的樣本量來得到可靠的結果。
import numpy as np
import pandas as pd
# 創(chuàng)建一個示例數據集
data = pd.DataFrame({
'id': np.arange(1, 101), # 100個樣本
'value': np.random.randint(1, 100, size=100)
})
# 簡單隨機抽樣，抽取10個樣本
sample = data.sample(n=10, random_state=42)
print("簡單隨機抽樣結果：")
print(sample)系統(tǒng)抽樣
系統(tǒng)抽樣是一種通過從總體中選取第一個個體后，然后按照一定的間隔（例如每隔k個個體）抽取樣本。適用于總體有規(guī)律性或排序的數據。
步驟
- 將總體按某種順序排列。
- 從中隨機選取一個起點。
- 然后按照固定間隔（如每隔k個個體）進行選擇。
優(yōu)點：比簡單隨機抽樣更容易操作，尤其是當總體是一個順序排列的列表時。
缺點：如果總體本身有某種周期性或規(guī)律，可能導致抽樣偏差（例如，如果總體中有某種周期性的模式，可能使樣本選擇結果不具代表性）。
# 系統(tǒng)抽樣，抽取每第10個樣本
k = 10
sample = data.iloc[::k, :]
print("系統(tǒng)抽樣結果：")
print(sample)分層抽樣
分層抽樣是一種先將總體劃分為不同的層（或群體），然后從每個層中獨立抽取樣本的抽樣方法。
適用于每一層內部具有相似性，但層與層之間的個體差異較大。
步驟：
- 將總體根據某些特征（如年齡、性別、收入等）劃分為不同的層。
- 從每個層中抽取一定數量的樣本。
優(yōu)點：比簡單隨機抽樣更加精確，尤其是在層內部變異性較小的情況下。
缺點：如果層劃分不當，可能會導致抽樣偏差。
import numpy as np
import pandas as pd
from sklearn.model_selection import StratifiedShuffleSplit
# 創(chuàng)建一個示例數據集
np.random.seed(42)
data = pd.DataFrame({
'id': np.arange(1, 101), # 100個樣本
'value': np.random.randint(1, 100, size=100),
'category': np.random.choice(['A', 'B'], size=100) # 分為兩類：A 和 B
})
# 分層抽樣，按 category 列進行分層
split = StratifiedShuffleSplit(n_splits=1, test_size=0.1, random_state=42)
for train_index, test_index in split.split(data, data['category']):
stratified_sample = data.iloc[test_index]
print("分層抽樣結果：")
print(stratified_sample)整群抽樣
在整群抽樣中，總體被劃分為若干個群體（clusters），然后從這些群體中隨機選取一些群體，再從選中的群體中抽取樣本。
步驟：
- 將總體劃分為若干個群體。
- 隨機選擇若干個群體。
- 從這些群體中抽取樣本。
優(yōu)點：適用于總體分布較廣、無法全面列舉每個個體的情況。
缺點：可能導致抽樣誤差較大。
import numpy as np
import pandas as pd
# 創(chuàng)建一個示例數據集
data = pd.DataFrame({
'id': np.arange(1, 101), # 100個樣本
'value': np.random.randint(1, 100, size=100),
'cluster': np.random.choice([1, 2, 3, 4, 5], size=100) # 5個群組
})
# 整群抽樣，抽取2個群組
selected_clusters = np.random.choice(data['cluster'].unique(), size=2)
cluster_sample = data[data['cluster'].isin(selected_clusters)]
# 輸出抽取2個群組中的所有樣本
print("整群抽樣結果：")
print(cluster_sample)多階段抽樣
多階段抽樣結合了上述幾種抽樣方法，通常在復雜的抽樣框架中使用。可以通過不同階段逐步抽取樣本。
步驟：
- 第一級：采用某種抽樣方法（如整群抽樣）選取樣本。
- 第二級：在已選中的群體中，使用不同的抽樣方法（如簡單隨機抽樣）進一步抽取樣本。
優(yōu)點：適用于較大且復雜的總體；靈活性高，能夠結合不同的方法來滿足需求。
缺點：復雜的設計和計算過程，可能增加誤差。
非概率抽樣
在非概率抽樣中，樣本的選取不依賴于隨機選擇，因此樣本可能不具有完全的代表性。
雖然非概率抽樣方法常用于探索性研究，但它的統(tǒng)計推斷效果較差。
常見的非概率抽樣方法包括：
方便抽樣
研究者選擇方便獲得的樣本進行研究，適用于初步調查，但可能存在嚴重的偏差。
優(yōu)點：節(jié)省時間和資源，適合初步探索性的研究。
缺點：樣本偏差較大，難以推斷到整個群體。
判斷抽樣
判斷抽樣，也叫專家抽樣，是根據研究者的判斷或經驗來選擇樣本。
在這種方法中，研究人員選擇他們認為對研究最有代表性或最重要的個體或單位。
優(yōu)點：快速且成本較低，適用于非常具體或少數的目標群體。
缺點：主觀偏差較大，可能導致結果不具備普遍性。
配額抽樣
將總體分成若干個類別，然后按比例選擇每個類別中的樣本，直到達到預定的樣本數量。
這種方法在沒有完全隨機抽樣的情況下，能夠保證某些群體的代表性，但依然存在偏倚。
優(yōu)點：可以確保樣本中各子群體的比例符合研究的目標群體特征。
缺點：樣本依然可能存在偏差，因為選擇是人為控制的，且每個組內部的選擇可能存在主觀判斷。
雪球抽樣
滾雪球抽樣是一種常用于難以接觸到的群體（如特殊興趣群體或少數群體）的非概率抽樣方法。
在這種方法中，研究人員首先選擇少數初始樣本，然后通過這些初始樣本推薦或引導其他樣本，以此類推，樣本逐漸增加，像滾雪球一樣擴大樣本量。
優(yōu)點：對于難以接觸的群體特別有效，能夠幫助研究者找到難以觸及的樣本。
缺點：結果可能產生樣本偏倚，因為個體的推薦可能不具有代表性，且群體內的相似性可能導致樣本不足以代表總體。
