将XML写入文件调试模式时出错

时间:2018-07-10 15:56:50

标签: c# windows apache-spark mobius

使用最新的mobius版本和依赖项(spark-clr_2.11-2.0.200.jar,spark-xml_2.11-0.4.0,spark-2.0.0-bin-hadoop2.7)

使用.\sparkclr-submit.cmd debug并在VS2015中以调试模式运行

程序读取XML并可以在内存中对其进行操作。使用以下代码将XML写回磁盘时出现错误。

想法?

sqlContext.Read()
    .Format("com.databricks.spark.xml")
    .Option("rowTag", "Table")
    .Load(@"file:///C:\T_POOL.xml") 
    .Filter("pool_nam like '%WILDCAT%'") 
    .Write()
    .Format("com.databricks.spark.xml")
    .Option("rowTag", "Table")
    .Save(@"file:///c:\output\outputbob"); 

cmd窗口错误(长):

  

10/07/18 09:43:57错误执行程序:阶段1.0中的任务0.0中的异常   (TID 1)java.lang.NullPointerException           在java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)           在org.apache.hadoop.util.Shell.runCommand(Shell.java:483)           在org.apache.hadoop.util.Shell.run(Shell.java:456)           在org.apache.hadoop.util.Shell $ ShellCommandExecutor.execute(Shell.java:   722)           在org.apache.hadoop.util.Shell.execCommand(Shell.java:815)           在org.apache.hadoop.util.Shell.execCommand(Shell.java:798)           在org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSys   tem.java:731)           在org.apache.hadoop.fs.RawLocalFileSystem $ LocalFSFileOutputStream中。      

    

(RawLocalFileSystem.java:225)             在org.apache.hadoop.fs.RawLocalFileSystem $ LocalFSFileOutputStream中。   

某些东西在爆炸前已写入磁盘: empty file

0 个答案:

没有答案