Question

我想将python中的Pandas Data帧转换为LIBFM格式的稀疏矩阵txt文件。

此格式需要如下所示：

4   0:1.5   3:-7.9
2   1:1e-5  3:2
-1  6:1

此文件包含三种情况。第一列说明三种情况中每一种的目标：即第一种情况为4，第二种情况为2，第三种情况为-1。在目标之后，每行包含x的非零元素，其中0：1.5的条目读取x0 = 1.5和3：-7.9表示x3 = -7.9等。这意味着INDEX的左侧：VALUE表示x中的索引，而右边则表示x的值。

总共来自该示例的数据描述了以下设计矩阵X和目标矢量y：

   1.5  0.0   0.0  −7.9  0.0  0.0  0.0
X: 0.0  10−5  0.0  2.0   0.0  0.0  0.0
   0.0  0.0   0.0  0.0   0.0  0.0  1.0

   4
Y: 2
  −1

第2章的Manual file也对此进行了解释。

现在我的问题是：我有一个像这样的pandas数据框：

  overall reviewerID        asin       brand         Positive Negative  \
0  5.0   A2XVJBSRI3SWDI  0000031887  Boutique Cutie     3.0       -1
1  4.0   A2G0LNLN79Q6HR  0000031887  Boutique Cutie     5.0       -2
2  2.0   A2R3K1KX09QBYP  0000031887  Boutique Cutie     3.0       -2
3  1.0   A19PBP93OF896   0000031887  Boutique Cutie     2.0       -3
4  4.0   A1P0IHU93EF9ZK  0000031887  Boutique Cutie     2.0       -2

  LDA_0     LDA_1      ...    LDA_98      LDA_99
0  0.000833  0.000833  ...    0.000833    0.000833
1  0.000769  0.000769  ...    0.000769    0.000769
2  0.000417  0.000417  ...    0.000417    0.000417
3  0.000137  0.014101  ...    0.013836    0.000137
4  0.000625  0.000625  ...    0.063125    0.000625

其中＆＃34;整体＆＃34;是目标列，所有其他105列是功能。

＆＃39; ReviewerId＆＃39;，＆＃39; Asin＆＃39;和品牌＆＃39;列需要更改为虚拟变量。因此，每个独特的评论家ID＆＃39; Asin＆＃39;和品牌得到他自己的专栏。这意味着，如果＆＃39; ReviewerID＆＃39;有100个唯一值，你得到100列，如果该行代表特定的Reviewer，则值为1，否则为零。

所有其他专栏都不需要重新格式化。因此，这些列的索引可以只是列号。

因此，上述pandas数据框中的前3行需要转换为以下输出：

5 0:1 5:1 6:1 7:3 8:-1 9:0.000833 10:0.000833 ... 107:0.000833 108:0.00833
4 1:1 5:1 6:1 7:5 8:-2 9:0.000769 10:0.000769 ... 107:0.000769 108:0.00769
2 2:1 5:1 6:1 7:3 8:-2 9:0.000417 10:0.000417 ... 107:0.000417 108:0.000417

在LIBFM]包中有一个程序可以将User-Item-Rating转换为LIBFM输出格式。但是，这个程序可以与这么多列相提并论。

有一种简单的方法吗？我总共有100万行。

Answer 1

LibFM可执行文件需要您在此处说明的libSVM格式的输入。如果LibFM包中的文件转换器不适用于您的数据，请尝试使用scikit learn sklearn.datasets.dump_svmlight_file方法。

参考：http://scikit-learn.org/stable/modules/generated/sklearn.datasets.dump_svmlight_file.html

将Pandas DataFrame转换为LIBFM格式的txt文件

1 个答案: