尝试将数据从Mysql加载到Spark df时,代码以退出代码1结尾

时间:2018-07-16 04:45:09

标签: java apache-spark dataframe

我有从mysql加载数据的代码,我将以下内容打印到标准输出,并且系统以退出代码1完成。

null
INFO  [2018-07-16 04:27:33,451] org.apache.spark.SparkContext: Invoking stop() from shutdown hook

下面是代码

        Map<String,String> props = new HashMap<String,String>();        
        props.put("url", "jdbc:mysql://localhost:3306/testDB?zeroDateTimeBehavior=convertToNull");
        props.put("user",  "root");
        props.put("password", "root");
        props.put("driver",  "com.mysql.jdbc.Driver");
        props.put("dbtable", "(select ...) as tmp");        
        props.put("fetchSize", "100000");     
        DataFrame df = sqlContext.read().format("jdbc").options(props).load(); 
df.registerTempTable("TEMP_LOAD");
        df.cache();   

因此,错误发生在加载数据步骤df.cache()上。有什么线索吗?伙计们。

0 个答案:

没有答案