如何在Java中使用SparseVectors的RDD创建DataFrame

Question

我试图将RDD SparseVector转换为DataFrame。我已经在Scala和Python中完成了此操作但从未在Java中完成此操作，确实可以找到答案here。

我试图找到涵盖此主题的示例，但我找不到任何内容。尽管如此，它显然与Scala的工作方式相同，但我无法复制它。

Answer 1

我终于可以实现它了。用于转换SparseVector的正确架构必须设置为dataType和new VectorUDT，请注意，如果您按照示例操作，则通常使用 DataTypes 。< em>某事，所以非常艰难。

List<StructField> fields = new ArrayList<>();
StructField field = DataTypes.createStructField("features", new VectorUDT(), true);

fields.add(field);

StructType schema = DataTypes.createStructType(fields);