KiteSdk 1.1.0 csv-import IOError

时间:2016-10-17 16:53:25

标签: hadoop hive hdfs hortonworks-data-platform kite-sdk

Ubuntu-14.04 使用 HDP-2.5 ,运行此命令并

$ ./kite-dataset csv-import ./test.csv  test_schema

使用KiteSdk import raw csv尝试将ver.1-1-0数据导入Hive 并具有以下 IOError

  

发生了1次失败:org.kitesdk.tools.CopyTask:   风筝(数据集:文件:/ tmp / 444e6fc4-10e2-407d-afaf-723c408a6d ... ID = 1   (1/1)(1):java.io.FileNotFoundException:File   file:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz不存在           在org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624)           在org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850)           在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614)           在org.apache.hadoop.fs.DelegateToFileSystem.getFileStatus(DelegateToFileSystem.java:125)           在org.apache.hadoop.fs.AbstractFileSystem.resolvePath(AbstractFileSystem.java:468)           在org.apache.hadoop.fs.FilterFs.resolvePath(FilterFs.java:158)           at org.apache.hadoop.fs.FileContext $ 25.next(FileContext.java:2195)           at org.apache.hadoop.fs.FileContext $ 25.next(FileContext.java:2191)           在org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90)           在org.apache.hadoop.fs.FileContext.resolve(FileContext.java:2191)           在org.apache.hadoop.fs.FileContext.resolvePath(FileContext.java:603)           at org.apache.hadoop.mapreduce.JobSubmitter.addMRFrameworkToDistributedCache(JobSubmitter.java:457)           在org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:142)           在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1290)           在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1287)           at java.security.AccessController.doPrivileged(Native Method)           在javax.security.auth.Subject.doAs(Subject.java:422)           在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)           在org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)           在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchControlledJob.submit(CrunchControlledJob.java:329)           在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.startReadyJobs(CrunchJobControl.java:204)           在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.pollJobStatusAndStartNewOnes(CrunchJobControl.java:238)           在org.apache.crunch.impl.mr.exec.MRExecutor.monitorLoop(MRExecutor.java:112)           在org.apache.crunch.impl.mr.exec.MRExecutor.access $ 000(MRExecutor.java:55)           在org.apache.crunch.impl.mr.exec.MRExecutor $ 1.run(MRExecutor.java:83)           在java.lang.Thread.run(Thread.java:745)

我已检查过文件"hdfs:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz" 存在并且无法弄清楚如何在很长一段时间内解决此错误。

非常感谢任何帮助。

2 个答案:

答案 0 :(得分:0)

我遇到了同样的错误,我通过创建/hdp/apps/2.5.0.0-1245/mapreduce解决了这个问题,然后: cp /usr/hdp/current/hadoop-client/mapreduce.tar.gz /hdp/apps/2.5.0.0-1245/mapreduce

然后创建了一个新错误:org.kitesdk.tools.CopyTask:Kite(数据集:文件:/ tmp / 413a41a2-8813-4056-9433-3c5e073d80 ... ID = 1(1/1)(1) :java.io.FileNotFoundException:文件不存在:hdfs://sandbox.hortonworks.com:8020 / tmp / crunch-283520469 / p1 / REDUCE

我还在尝试排除故障。

答案 1 :(得分:0)

我认为您使用Kite SDK 1.1.0版本会收到此错误。当我做csv-import时,我也遇到了类似的错误。当我切换到Kite SDK 1.0.0版本时,没有出现这样的错误。

我建议您切换到Kite SDK 1.0.0版本。

此外,在1.1.0版本之后没有新版Kite SDK,甚至此版本也发布于2015年6月。