我有从mysql加载数据的代码,我将以下内容打印到标准输出,并且系统以退出代码1完成。
null
INFO [2018-07-16 04:27:33,451] org.apache.spark.SparkContext: Invoking stop() from shutdown hook
下面是代码
Map<String,String> props = new HashMap<String,String>();
props.put("url", "jdbc:mysql://localhost:3306/testDB?zeroDateTimeBehavior=convertToNull");
props.put("user", "root");
props.put("password", "root");
props.put("driver", "com.mysql.jdbc.Driver");
props.put("dbtable", "(select ...) as tmp");
props.put("fetchSize", "100000");
DataFrame df = sqlContext.read().format("jdbc").options(props).load();
df.registerTempTable("TEMP_LOAD");
df.cache();
因此,错误发生在加载数据步骤df.cache()
上。有什么线索吗?伙计们。