Question

我正在尝试此页面中的MLlib示例（使用Scala在Spark上）：MLlib Page

所有示例都抛出相同的错误错误。我给出了线性回归的结果：

    scala> val model = LinearRegressionWithSGD.train(parsedData, numIterations)
    java.lang.RuntimeException: Error in configuring object
    at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
    at org.apache.spark.rdd.HadoopRDD.getInputFormat(HadoopRDD.scala:123)
    at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:136)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:207)
    at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:205)

有人可以指导导致此错误的原因吗？谢谢。

Answer 1

刚刚想出答案......显然，bashrc中的一些设置与Spark相冲突。删除bashrc文件解决了这个问题。

MLlib示例不起作用

1 个答案: