Question

我有独立的Windows 7 PC和Spark 2.2.1。编写额外的简单Java应用程序来读取json（来自people.json）当我用spark.master = local [*]执行（从eclipse运行）时，一切都很好，

Dataset<Row> df = spark.read().option("header","false").json(jsonPath);
 df.printSchema();
 df.show();

它读取json并输出正确。

但是当我更改spark.master = spark：//192.168.1.5：7077时，它失败并出现以下错误：

java.lang.NoClassDefFoundError: org/apache/commons/lang3/time/FastDateParser$2

带

<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.5</version>

和错误：

Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component: XXX
at org.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577)

与

<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.1</version>

爪哇：

C:\Users\gdev>java -version 
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

和日食中的这个jre。

出了什么问题，我做错了什么？感谢。

Answer 1

return {formatted: Object.values(inputData).join(', ')}

Spark 2.2.1 on One PC spark.master local [*] vs spark：//192.168.1.5：7077

1 个答案: