Question

我们正在运行一个Spark流式传输作业，从Kafka读取，转换为csv，然后写入Hbase。我正在使用API CSVBulkLoad来运行批量加载作业。火花作业开始正常并转换为CSV但csvBulkLoad.run（）启动一个新的MR作业但失败并出现此异常

Error: java.lang.ClassNotFoundException: org.apache.commons.csv.CSVFormat
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.apache.phoenix.mapreduce.CsvToKeyValueMapper$CsvLineParser.<init>(CsvToKeyValueMapper.java:96)
    at org.apache.phoenix.mapreduce.CsvToKeyValueMapper.setup(CsvToKeyValueMapper.java:69)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1865)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)

这是我的火花作业命令

spark-submit --jars $(echo lib/*.jar | tr ' ' ',') --class "com.lam.app.Driver" --name "MyBulkLoader" --master yarn --deploy-mode cluster --driver-class-path $(echo lib/*.jar | tr ' ' ',') --driver-memory 4g --executor-memory 1g --num-executors 2 --executor-cores 2 --files conf.properties PipeLine-1.0.jar

之前我曾经遇到过关于缺少类（java.lang.NoClassDefFoundError：com / yammer / metrics / core / MetricsRegistry）的另一个错误，但是在包含“--driver-class-”后它得到了解决path $（echo lib / * .jar | tr'''，'）“。现在我们收到有关丢失CSVFormat类的错误。

我的lib目录包含所有需要的jar文件，包括commons-csv jar但我仍然收到此错误。我使用maven来构建项目。以下是运行csvbulkload

的代码段

CsvBulkLoadTool csvBulkLoadTool = new CsvBulkLoadTool();
final org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
System.out.println("ZKQuorum " + this.ZKQUORUM);
conf.set(HConstants.ZOOKEEPER_QUORUM, this.ZKQUORUM);
conf.set("hbase.zookeeper.property.clientPort", String.valueOf(2181));
conf.set("zookeeper.znode.parent", "/hbase-unsecure");

csvBulkLoadTool.setConf(conf);
int exitCode = csvBulkLoadTool.run(new String[] { "--input", "\"" + this.hdfsInputFile + "\"",
    "--table", this.TABLENAME, "--zookeeper", this.ZKQUORUM + ":2181:/hbase-unsecure" });
System.out.println("Return code of WDL bulk load execution " + exitCode);

我的exitCode始终为-1。如果我在班级路径上遗漏了某些内容，请告诉我

Answer 1

我终于解决了这个问题。我错过了添加凤凰客户端jar并且之后问题得到了解决。希望这个提示可以帮助遇到类似问题的人

Apache Phoenix 4.7 csvBulkLoad.run（）抛出ClassNotFoundException

1 个答案: