如何为HDFS运行测试类?

时间:2019-05-31 05:50:58

标签: java hadoop hdfs

我想通过使用hadoop-hdfs-2.9.2-tests.jar运行单元测试 hadoop-2.9.2 / share / hadoop / hdfs。

1。 运行以下命令无效:

import org.json4s._
import org.json4s.jackson.JsonMethods._

implicit val formats = org.json4s.DefaultFormats

case class Function (
                      expression: String,
                      parameter: Parameter,
                      returntype: String
                    )

case class Parameter (
                       `type`: String,
                       value: String
                     )


case class Measures (
                      name: String,
                      function: Function
                    )

case class AllMeasuresData(uuid: String, measure: List[Measures])

val data = parse(tmp).extract[AllMeasuresData]
val names = data.measure.map(_.name)

println(names)

case class AllMeasuresData(uuid: String, measure: List[Measures])

val data = parse(tmp).extract[AllMeasuresData]
val names = data.measure.map(_.name)

println(names)

错误消息说没有主类名。

2。 我还尝试手动编译wordcount类,但失败了。

(yarn jar hadoop-2.9.2/share/hadoop/hdfs/hadoop-hdfs-2.9.2-tests.jar
TestWriteRead)

但是没有用。

如何运行hdfs-tests.jar?

谢谢

1 个答案:

答案 0 :(得分:0)

如果要运行相同的示例,可以在此处查看对Hadoop 2.9.2的依赖关系,可以使用以下示例:

# su - hdfs
$ cd /opt/yarn/hadoop-2.9.2/bin
$ export YARN_EXAMPLES=/opt/yarn/hadoop-2.9.2/share/hadoop/mapreduce
$ ./yarn jar $YARN_EXAMPLES/hadoop-mapreduce-examples-2.9.2.jar pi 16 1000

要运行的示例很多,其中包括wordcount,这是一个对输入文件中的单词进行计数的map / reduce程序。您可以列出它:

yarn jar $YARN_EXAMPLES/hadoop-mapreduce-examples.jar

如果路径不同,则运行:

 $ find / -name "hadoop-mapreduce-examples*.jar" -print