Spark“结构化API”是什么意思？

Question

我不知道Spark'结构化API '是什么意思。

为什么“ 结构化API ”如此命名（或称为）？

如果您能更具体地告诉我，我将不胜感激。

对不起，我的英语还不够熟练。（ 我从翻译那里得到了帮助。）

Answer 1

在spark中有两个地方会遇到“结构化”关键字：

1. Spark SQL，数据框，数据集-这些API有助于处理结构化数据（以表格形式标识为行和列的数据）。使用Spark SQL，您可以编写SQL来读取数据并进行处理。使用Dataframe / Dataset API将有助于对结构化数据执行转换。

2. Spark结构化流-处理来自流应用程序，消息队列（例如kafka）的结构化数据流。