迭代数据帧并在Spark SQL语句中使用这些值

Question

我说一个数据框

DF

Animal
======
Cat
Dog
Horse

我想迭代这些值并在Spark SQL语句中使用它们。

有人可以帮我吗？

Answer 1

Spark数据集/数据帧API比命令性声明性更强（例如SQL），这意味着您描述了所需的最终数据，并让Spark引擎找出确切的变换。

您所描述的内容作为Spark的用例没有意义

Answer 2

这是一个奇怪的用例，但是您可以遍历自己的值，并通过foreach进行任何操作。

输入

df.show
+------+
|animal|
+------+
|   cat|
|   dog|
| horse|
+------+

句子

就像我使用打印一样，您可以执行任何其他功能，但是正如评论中所说，这有点奇怪

df.foreach(row => println(row.getAs[String](0)))

通过这一部分，您可以获得实际值

row.getAs[String](0)