Question

我正在寻找进行随机分层抽样调查和民意测验的最佳方法。我不想做sklearn.model_selection.StratifiedShuffleSplit，因为我没有进行有监督的学习而我没有目标。我只想从pandas DataFrame（https://www.investopedia.com/terms/stratified_random_sampling.asp）创建随机分层样本。

Python是我的主要语言。

感谢您的帮助

Answer 1

鉴于已对变量进行了分箱，因此以下一行应为您提供所需的输出。我看到scikit-learn主要用于您以外的目的，但使用其中的功能应该不会有任何危害。

请注意，如果您的scikit-learn版本早于0.19.0，则采样结果可能包含重复的行。

如果您测试以下方法，请分享其行为是否符合预期。

from sklearn.model_selection import train_test_split

stratified_sample, _ = train_test_split(population, test_size=0.999, stratify=population[['income', 'sex', 'age']])

Answer 2

到目前为止，这是我最好的解决方案。重要的是先将连续变量分类并对每个层进行最少的观察。

在这个例子中，我是：

生成人口
以纯随机方式采样
以随机分层方式抽样

当比较两个样本时，分层样本更能代表总体人口。

如果有人想要更优化的方式，请随时分享。

import pandas as pd
import numpy as np

# Generate random population (100K)

population = pd.DataFrame(index=range(0,100000))
population['income'] = 0
population['income'].iloc[39000:80000] = 1
population['income'].iloc[80000:] = 2
population['sex'] = np.random.randint(0,2,100000)
population['age'] = np.random.randint(0,4,100000)

pop_count = population.groupby(['income', 'sex', 'age'])['income'].count()

# Random sampling (100 observations out of 100k)

random_sample = population.iloc[
    np.random.randint(
        0, 
        len(population), 
        int(len(population) / 1000)
    )
]

# Random Stratified Sampling (100 observations out of 100k)

stratified_sample = list(map(lambda x : population[
    (
        population['income'] == pop_count.index[x][0]
    ) 
    &
    (
        population['sex'] == pop_count.index[x][1]
    )
    &
    (
        population['age'] == pop_count.index[x][2]
    )
].sample(frac=0.001), range(len(pop_count))))

stratified_sample = pd.concat(stratified_sample)

如何使用Python进行随机分层抽样（不是火车/测试分割）？

2 个答案: