$ ./kite-dataset csv-import ./test.csv test_schema
使用KiteSdk import raw csv
尝试将ver.1-1-0
数据导入Hive
并具有以下 IOError :
发生了1次失败:org.kitesdk.tools.CopyTask: 风筝(数据集:文件:/ tmp / 444e6fc4-10e2-407d-afaf-723c408a6d ... ID = 1 (1/1)(1):java.io.FileNotFoundException:File file:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz不存在 在org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624) 在org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850) 在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614) 在org.apache.hadoop.fs.DelegateToFileSystem.getFileStatus(DelegateToFileSystem.java:125) 在org.apache.hadoop.fs.AbstractFileSystem.resolvePath(AbstractFileSystem.java:468) 在org.apache.hadoop.fs.FilterFs.resolvePath(FilterFs.java:158) at org.apache.hadoop.fs.FileContext $ 25.next(FileContext.java:2195) at org.apache.hadoop.fs.FileContext $ 25.next(FileContext.java:2191) 在org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90) 在org.apache.hadoop.fs.FileContext.resolve(FileContext.java:2191) 在org.apache.hadoop.fs.FileContext.resolvePath(FileContext.java:603) at org.apache.hadoop.mapreduce.JobSubmitter.addMRFrameworkToDistributedCache(JobSubmitter.java:457) 在org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:142) 在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1290) 在org.apache.hadoop.mapreduce.Job $ 10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:422) 在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724) 在org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) 在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchControlledJob.submit(CrunchControlledJob.java:329) 在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.startReadyJobs(CrunchJobControl.java:204) 在org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.pollJobStatusAndStartNewOnes(CrunchJobControl.java:238) 在org.apache.crunch.impl.mr.exec.MRExecutor.monitorLoop(MRExecutor.java:112) 在org.apache.crunch.impl.mr.exec.MRExecutor.access $ 000(MRExecutor.java:55) 在org.apache.crunch.impl.mr.exec.MRExecutor $ 1.run(MRExecutor.java:83) 在java.lang.Thread.run(Thread.java:745)
我已检查过文件"hdfs:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz"
存在并且无法弄清楚如何在很长一段时间内解决此错误。
非常感谢任何帮助。
答案 0 :(得分:0)
我遇到了同样的错误,我通过创建/hdp/apps/2.5.0.0-1245/mapreduce解决了这个问题,然后: cp /usr/hdp/current/hadoop-client/mapreduce.tar.gz /hdp/apps/2.5.0.0-1245/mapreduce
然后创建了一个新错误:org.kitesdk.tools.CopyTask:Kite(数据集:文件:/ tmp / 413a41a2-8813-4056-9433-3c5e073d80 ... ID = 1(1/1)(1) :java.io.FileNotFoundException:文件不存在:hdfs://sandbox.hortonworks.com:8020 / tmp / crunch-283520469 / p1 / REDUCE
我还在尝试排除故障。
答案 1 :(得分:0)
我认为您使用Kite SDK 1.1.0版本会收到此错误。当我做csv-import时,我也遇到了类似的错误。当我切换到Kite SDK 1.0.0版本时,没有出现这样的错误。
我建议您切换到Kite SDK 1.0.0版本。
此外,在1.1.0版本之后没有新版Kite SDK,甚至此版本也发布于2015年6月。