线程" main"中的例外情况java.lang.NoSuchMethodError:org.apache.commons.beanutils.PropertyUtilsBean

时间:2017-02-28 11:31:41

标签: scala apache-spark spark-dataframe

我试图读取属性文件并遇到下面给出的错误。我写了一个Scala包,我试图读取属性文件并调用abc.scala程序。任何帮助将不胜感激。

文件: - xyz.properties

driver = "oracle.jdbc.driver.OracleDriver"
url = "jdbc:oracle:thin:@xxxx:1521/xxxx.xxxx"
username = "xxx"
password = "xxx"
input_file = "C:\\Users\\xxx\\test\\src\\main\\resources\\xxxx.xlsx"

build.sbt

name := "xxx.xxxx.xxxxx"

scalaVersion := "2.10.6"

ivyScala := ivyScala.value map{ _.copy(overrideScalaVersion = true) }


libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.1.0",
"com.databricks" %% "spark-csv" % "1.5.0",
"org.apache.commons" % "commons-configuration2" % "2.1.1",
"commons-beanutils" % "commons-beanutils" % "1.9.3",
"org.apache.spark" %% "spark-sql" % "2.1.0",
"org.scala-lang" % "scala-xml" % "2.11.0-M4"  )

封装

package com.xxx.zzzz.xxx1

        import java.io.File
        import org.apache.commons.configuration2.builder.fluent.{Configurations, Parameters}


        object Configuration {

          var config = new Configurations()
          var configs = config.properties(new File("xyz.properties"))

          var inputFile = configs.getString("input")
          var userName = configs.getString("user_name")
          var password = configs.getString("passwd")
          var driver = configs.getString("driver")
          var url = configs.getString("Url")

        }

主程序abc.scala

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SQLContext
import package com.xxx.zzzz.xxx1.Configurations
import org.apache.commons.beanutils.PropertyUtils


object ItalyPanelData {
  def main(args: Array[String]): Unit = {

        //Logger.getRootLogger().setLevel(Level.OFF)

        println("Inside main program"+ Configuration.driver)
        //Set the properties for spark to connect the oracle database
        val dbProp = new java.util.Properties
        dbProp.setProperty("driver", Configuration.driver)
        dbProp.setProperty("user", Configuration.userName)
        dbProp.setProperty("password", Configuration.password)


        //Create a connection to connect spark
        val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
        val sc = new SparkContext(conf)
        val sqlContext = new SQLContext(sc)

    //exception handlying
    try {
      //Create dataframe boject
      val df = sqlContext.read
        .option("location", Configuration.inputFile)        //Initiating input path
        .option("sheetName", "xyz")                       //Give the SheetName
        .option("useHeader", "true")                        //It takes the header name from excel sheet
        .option("treatEmptyValuesAsNulls", "true")
        .option("inferSchema", "true")
        .option("addColorColumns", "false")
        .load()
      // Write into oracale database
      df.write.mode("append").jdbc(Configuration.url, "xyz", dbProp)
    }
    catch {

        case e: Throwable => e.printStackTrace();
    }

      }
}

错误

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.beanutils.PropertyUtilsBean.addBeanIntrospector(Lorg/apache/commons/beanutils/BeanIntrospector;)V
at org.apache.commons.configuration2.beanutils.BeanHelper.initBeanUtilsBean(BeanHelper.java:631)
at org.apache.commons.configuration2.beanutils.BeanHelper.<clinit>(BeanHelper.java:89)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:264)
at com.sun.proxy.$Proxy0.<clinit>(Unknown Source)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at java.lang.reflect.Proxy.newProxyInstance(Proxy.java:739)
at org.apache.commons.configuration2.builder.fluent.Parameters.createParametersProxy(Parameters.java:294)
at org.apache.commons.configuration2.builder.fluent.Parameters.fileBased(Parameters.java:185)
at org.apache.commons.configuration2.builder.fluent.Configurations.fileParams(Configurations.java:602)
at org.apache.commons.configuration2.builder.fluent.Configurations.fileParams(Configurations.java:614)
at org.apache.commons.configuration2.builder.fluent.Configurations.fileBasedBuilder(Configurations.java:132)
at org.apache.commons.configuration2.builder.fluent.Configurations.propertiesBuilder(Configurations.java:238)
at org.apache.commons.configuration2.builder.fluent.Configurations.properties(Configurations.java:282)
at com.rxcorp.italy.config.Configuration$.<init>(Configuration.scala:8)
at com.rxcorp.italy.config.Configuration$.<clinit>(Configuration.scala)
at com.rxcorp.paneldataloading.ItalyPanelData$.main(abc.scala:12)

2 个答案:

答案 0 :(得分:3)

此类例外表明版本不兼容。

含义:您编写的代码(或者更可能是:表面下的库之一)想要调用方法

org.apache.commons.beanutils.PropertyUtilsBean.addBeanIntrospector(BeanIntrospector[]);

但问题是:在运行时,PropertyUtilsBean的类文件不包含该方法。

因此:您必须退后一步,了解堆栈中的组件,并查看Apache commons库中的版本要求。

在查看method的javadoc时,您会获得更多想法;正如它所说:自:1.9 那里。

换句话说:这个方法添加了Apache commons 1.9;所以你的一些堆栈需要至少那个版本的公共文件;但是你在JVM中执行整个事情的类路径......有一个旧版本。

所以:检查apache commons的类路径;并且很可能只需更新到更新版本的apache commons即可。 (是的,也许这意味着更多“硬”调试工作;因为至少你的 build 设置包括更新版本的apache commons。)

答案 1 :(得分:0)

我想我也有类似的问题。在我们的项目中,Apache Commons配置2.7与apache commons BeanUtils 1.9一起使用。 不幸的是,我们使用的另一个库是jxls-reader 2.0。+,该库引用了commons-digester3库。

因此beanutils 1.9以及commons-digester3 lib都有一个打包为org.apache.commons.beanutils.PropertyUtilsBean的类。但是commons-digester3的版本没有上述方法,使我们面临与您同样的困境。 现在我们可以很幸运了,因为我们的Windows服务器首先加载了beanutils的“正确”版本,而一些使用Mac的开发人员却以另一种方式来加载它,首先加载了digester3软件包,这会带来没有这种错误的方法

不确定在这里可以采取什么解决方法。

无论如何,请检查类路径上是否有该类两次,并通过检查类路径上所有相关库的pom.xmls来找出谁在使用该类。最后,如果您的代码不需要某些库,您可能会很幸运地删除了(机会很低:-(虽然)


更新10thNov:我从jxls-reader依赖项中排除了commons-digester3:

<dependency>
    <groupId>org.jxls</groupId>
    <artifactId>jxls-reader</artifactId>
    <version>2.0.3</version>
    <exclusions>
        <exclusion>
            <groupId>org.apache.commons</groupId>
            <artifactId>commons-digester3</artifactId>
        </exclusion>
    </exclusions>
</dependency>

这样,jxls-reader中带有分类器“ with-deps”的commons-digester将不会得到解决,因此我将其显式插入到我们的pom.xml中,而仅将普通jar打包为没有commons-logging,commons打包类的普通jar -beanutils ...