Question

我试图将JSON文件用作小型数据库。在DataFrame上创建模板表后，我用SQL查询它并获得异常。这是我的代码：

val df = sqlCtx.read.json("/path/to/user.json")
df.registerTempTable("user_tt")

val info = sqlCtx.sql("SELECT name FROM user_tt")
info.show()

df.printSchema()结果：

root
 |-- _corrupt_record: string (nullable = true)

我的JSON文件：

{
  "id": 1,
  "name": "Morty",
  "age": 21
}

Exeption：

Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'name' given input columns: [_corrupt_record];

我该如何解决？

UPD

_corrupt_record是

+--------------------+
|     _corrupt_record|
+--------------------+
|                   {|
|            "id": 1,|
|    "name": "Morty",|
|           "age": 21|
|                   }|
+--------------------+

UPD2

这很奇怪，但是当我重写我的JSON以使其成为oneliner时，一切正常。

{"id": 1, "name": "Morty", "age": 21}

问题出在newline。

UPD3

我在文档中找到了下一句话：

请注意，作为json文件提供的文件不是典型的JSON文件。每行必须包含一个单独的，自包含的有效JSON对象。因此，常规的多行JSON文件通常会失败。

将JSON保持为这种格式并不方便。是否有任何解决方法可以摆脱JSON的多线结构或将其转换为oneliner？

Answer 1

Spark＆gt; = 2.2

Spark 2.2引入了 ~~wholeFile~~ multiLine选项，可用于加载JSON（而不是JSONL）文件：

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

请参阅：

SPARK-18352 - 解析普通的多行JSON文件（不仅仅是JSON行）。
SPARK-20980 - 将选项wholeFile重命名为multiLine以获取JSON和CSV。

Spark＆lt; 2.2

好吧，使用JSONL格式化数据可能不方便但我认为这不是API的问题，而是格式本身。 JSON根本不是为在分布式系统中并行处理而设计的。

它没有提供架构，也没有对其格式和形状做出一些非常具体的假设，几乎不可能正确识别顶级文档。可以说这是想象在Apache Spark等系统中使用的最糟糕的格式。在分布式系统中编写有效的JSON也非常棘手，而且通常是不切实际的。

话虽如此，如果单个文件是有效的JSON文档（单个文档或文档数组），您可以随时尝试wholeTextFiles：

spark.read.json(sc.wholeTextFiles("/path/to/user.json").values())

Answer 2

为了补充零点3的答案，Spark 2.2+中用于读取多行JSON的选项已重命名为multiLine（请参阅Spark文档here）。

因此，现在正确的语法是：

spark.read
  .option("multiLine", true).option("mode", "PERMISSIVE")
  .json("/path/to/user.json")

这发生在https://issues.apache.org/jira/browse/SPARK-20980。

在Apache Spark中读取多行JSON

2 个答案: