Question

我正在尝试运行Scalding示例字计数示例。我已经按照这个github链接执行了以下步骤： - https://github.com/twitter/scalding/wiki/Getting-Started

但是我得到了ClassNotFoundException。下面是我的StackTrace： -

[cloudera@localhost scalding-develop]$ **sudo scripts/scald.rb --local WordCount --input       input.txt --output ./someOutputFile.tsv**
can not find /root/.sbt/boot/scala-2.9.3/lib/scala-library.jar appending SBT_VERSION [0.12.0] to SBT_HOME
scripts/scald.rb:139: warning: already initialized constant SBT_HOME
scripts/scald.rb:140: warning: already initialized constant SCALA_LIB_DIR
Exception in thread "main" java.lang.Throwable: If you know what exactly caused this error, please consider contributing to GitHub via following link.
https://github.com/twitter/scalding/wiki/Common-Exceptions-and-possible-reasons#javalangclassnotfoundexception
at com.twitter.scalding.Tool$.main(Tool.scala:146)
at com.twitter.scalding.Tool.main(Tool.scala)
Caused by: java.lang.ClassNotFoundException: WordCount
at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:188)
at com.twitter.scalding.Job$.apply(Job.scala:39)
at com.twitter.scalding.Tool.getJob(Tool.scala:49)
at com.twitter.scalding.Tool.run(Tool.scala:69)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at com.twitter.scalding.Tool$.main(Tool.scala:132)
... 1 more

请让我知道问题究竟在哪里？

感谢。

Answer 1

检查您的PATH中是否有JDK的bin目录。我有一个类似的问题，我使用update-alternatives来安装java，但是我的PATH中没有包含/usr/lib/jvm/jdk-1.7.0/bin。

Answer 2

检查 - 在Eclipse文章中运行您的Scalding作业 http://hokiesuns.blogspot.co.uk/2012/07/running-your-scalding-jobs-in-eclipse.html

使用Maven进行烫伤应该是您进入这个新勇敢世界的第一步。几个月后尝试一下，看看你是否喜欢它

不要直接使用sbt，因为它的使用不是那么简单

Answer 3

我建议不要使用scald.rb。而是使用sbt，检查这个github repo，https://github.com/deanwampler/activator-scalding。它包括所有必要的基本设置。

烫伤示例WordCount本地模式

3 个答案: