我正在使用图书crossing Data-set,它有一个文件,它给予用户X对图书Y的评级,但很多条目包含值0,这意味着用户X喜欢图书Y,但没有给它评分。我正在使用协同过滤,因此这0个条目对我来说都会产生问题,就好像它们会降低0,这会降低本书的整体评分。
我是数据科学领域的新手,有人可以帮助解决这个问题吗?
我能想到的是用用户的平均书评取代0等级,但我再也不支持我的想法。
答案 0 :(得分:1)
ISBN代码非常混乱,包含许多不正确的ISBN,并且不统一。
以下是几个例子:
"User-ID";"ISBN";"Book-Rating"
"11676";" 9022906116";"7"
"11676";"\"0432534220\"";"6"
"11676";"\"2842053052\"";"7"
"11676";"0 7336 1053 6";"0"
"11676";"0=965044153";"7"
"11676";"0000000000";"9"
"11676";"00000000000";"8"
"146859";"01402.9182(PB";"7"
"158509";"0672=630155(P";"0"
"194500";"(THEWINDMILLP";"0"
所以我建议先把它清理一下:
df.ISBN = df.ISBN.str.replace(r'[^\w\d]+', '')
然后计算平均评分:
avg_ratings = df.groupby('ISBN')['Book-Rating'].mean().round().astype(np.int8)
并最终为这些图书设定了平均评分,评分为零:
df.loc[df['Book-Rating'] == 0, 'Book-Rating'] = df.loc[df['Book-Rating'] == 0, 'ISBN'].map(avg_ratings)
<强>更新强>
从Pandas 0.20.1 the .ix indexer is deprecated, in favor of the more strict .iloc and .loc indexers开始。