pandas dataframe对象是否可以与sklearn kmeans聚类一起使用?

时间:2015-01-19 02:17:49

标签: python pandas scikit-learn cluster-analysis k-means

数据集是pandas数据帧。这是sklearn.cluster.KMeans

 km = KMeans(n_clusters = n_Clusters)

 km.fit(dataset)

 prediction = km.predict(dataset)

这就是我决定哪个实体属于哪个集群的方式:

 for i in range(len(prediction)):
     cluster_fit_dict[dataset.index[i]] = prediction[i]

这就是数据集的外观:

 A 1 2 3 4 5 6
 B 2 3 4 5 6 7
 C 1 4 2 7 8 1
 ...

其中A,B,C是指数

这是使用k-means的正确方法吗?

2 个答案:

答案 0 :(得分:26)

假设数据框中的所有值都是数字,

# Convert DataFrame to matrix
mat = dataset.values
# Using sklearn
km = sklearn.cluster.KMeans(n_clusters=5)
km.fit(mat)
# Get cluster assignment labels
labels = km.labels_
# Format results as a DataFrame
results = pandas.DataFrame([dataset.index,labels]).T

或者,您可以尝试KMeans++ for Pandas

答案 1 :(得分:16)

要知道您的数据框dataset是否具有合适的内容,您可以显式转换为numpy数组:

dataset_array = dataset.values
print(dataset_array.dtype)
print(dataset_array)

如果数组具有齐次数dtype(通常为numpy.float64),则scikit-learn 0.15.2及更高版本应该没问题。例如,您可能仍需要使用sklearn.preprocessing.StandardScaler规范化数据。

如果您的数据框是异构输入的,则相应numpy数组的dtype将为object,这不适合scikit-learn。您需要提取所有相关要素的数值表示(例如,通过提取分类要素的虚拟变量)并删除不合适的要素(例如样本标识符)。