使用最新的mobius版本和依赖项(spark-clr_2.11-2.0.200.jar,spark-xml_2.11-0.4.0,spark-2.0.0-bin-hadoop2.7)
使用.\sparkclr-submit.cmd debug
并在VS2015中以调试模式运行
程序读取XML并可以在内存中对其进行操作。使用以下代码将XML写回磁盘时出现错误。
想法?
sqlContext.Read()
.Format("com.databricks.spark.xml")
.Option("rowTag", "Table")
.Load(@"file:///C:\T_POOL.xml")
.Filter("pool_nam like '%WILDCAT%'")
.Write()
.Format("com.databricks.spark.xml")
.Option("rowTag", "Table")
.Save(@"file:///c:\output\outputbob");
cmd窗口错误(长):
10/07/18 09:43:57错误执行程序:阶段1.0中的任务0.0中的异常 (TID 1)java.lang.NullPointerException 在java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) 在org.apache.hadoop.util.Shell.runCommand(Shell.java:483) 在org.apache.hadoop.util.Shell.run(Shell.java:456) 在org.apache.hadoop.util.Shell $ ShellCommandExecutor.execute(Shell.java: 722) 在org.apache.hadoop.util.Shell.execCommand(Shell.java:815) 在org.apache.hadoop.util.Shell.execCommand(Shell.java:798) 在org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSys tem.java:731) 在org.apache.hadoop.fs.RawLocalFileSystem $ LocalFSFileOutputStream中。
(RawLocalFileSystem.java:225) 在org.apache.hadoop.fs.RawLocalFileSystem $ LocalFSFileOutputStream中。