Question

在pyspark中，如果我生成一个表示全零向量的稀疏向量，然后对其进行字符串化，则按预期工作：

>>> res = Vectors.stringify(SparseVector(4, [], []))
'(4,[],[])'

但是解析方法无法加载它：

>>> SparseVector.parse(res)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File ".../spark-1.5.2-bin-hadoop2.4/python/pyspark/mllib/linalg/__init__.py", line 545, in parse
    raise ValueError("Unable to parse indices from %s." % new_s)
ValueError: Unable to parse indices from .

有人知道解决这个问题的方法吗？

Answer 1

这是SPARK-14739描述的错误。目前最简单的解决方法是使用ast模块：

import ast
from pyspark.mllib.linalg import SparseVector

def parse_sparse(s):
    return SparseVector(*ast.literal_eval(s.strip()))

parse_sparse("(1, [], [])")
## SparseVector(1, {})

parse_sparse("(5, [1, 3], [0.4, -0.1])")
## SparseVector(5, {1: 0.4, 3: -0.1})

使用pyspark SparseVectors解析所有零稀疏向量

1 个答案: