Question

使用spark-shell v1.6。

当我加载一个类def及其伴随对象时，取决于它是如何完成的。

一次一行 - 好的
通过:paste - 问题

首先要做的事情......因为repl发现加载具有相同名称的伴随对象是不明确的，所以我给它一个更改的名称。没问题。设置看起来像这样......

import scala.util.Try

class Foo5(val i: Int)

object Foo5Companion {
  def apply(i: Int): Foo5 = new Foo5(i)
  def apply(d: Double): Foo5 = new Foo5(d.toInt)
  def applyTry(i: Int): Try[Foo5] = Try { apply(i) }
  def applyTry(d: Double): Try[Foo5] = Try { apply(d) }
}

现在让我们用这个类做一些简单的事情。

val ls_i: List[Int] = List(1,2,3)
val ls_foo: List[Foo5] = ls_i.map(Foo5Companion.apply)

如果我使用:paste加载了类def和伴随对象，我会收到此错误...要清楚，Foo5只在新会话中定义过一次。这不是此处描述的问题的实例："error: type mismatch" in Spark with same found and required datatypes

<console>:42: error: type mismatch;
found   : List[Foo5]
required: List[Foo5]
        val ls_foo: List[Foo5] = ls_i.map(Foo5Companion.apply)

但是...

如果我逐行加载相同的defs（不使用:paste）......它可以正常工作......

ls_foo: List[Foo5] = List($iwC$$iwC$Foo5@66f1a93a, $iwC$$iwC$Foo5@39d53a3, $iwC$$iwC$Foo5@4dddf42f)

我的问题是......有什么区别？为什么:paste导致问题并使repl认为Foo5不明确？

Answer 1

编辑：这个错误是fixed in 2.11.9，所以最新的2.11.12可以使用。

编辑：因为你在Spark 1.6上，我认为你已经陷入了2.10。没关系，我前几天再次选择荷马，而且是一个非常老的版本（Lattimore，1951）。

它看起来像是一个老版本的错误，其中包含Spark shell如何处理-Yrepl-class-based下历史记录中的导入。

使用-Xprint:typer：

  import scala.util.Try;
  import $line3.$read.INSTANCE.$iw.$iw.Foo5;
  private[this] val $line3$read: $line3.$read = $line3.$read.INSTANCE;
  <stable> <accessor> def $line3$read: $line3.$read = $iw.this.$line3$read;
  import $iw.this.$line3$read.$iw.$iw.Foo5Companion;

一次导入是通过别名成员进行的，因此两个Foo5的路径不同。

在这种情况下，您可以使用:load代替:paste。通常情况下，您是:paste个同伴。

这不是安慰，但是当Spark升级到2.12时它将被修复：

$ ~/scala-2.11.8/bin/scala -Yrepl-class-based 
Welcome to Scala 2.11.8 (OpenJDK 64-Bit Server VM, Java 1.8.0_171).
Type in expressions for evaluation. Or try :help.

scala> :paste foo5.scala
Pasting file foo5.scala...
import scala.util.Try
defined class Foo5
defined object Foo5Companion

scala> val ls_i: List[Int] = List(1,2,3)
ls_i: List[Int] = List(1, 2, 3)

scala> val ls_foo: List[Foo5] = List(1,2,3).map(Foo5Companion.apply)
<console>:15: error: type mismatch;
 found   : List[Foo5]
 required: List[Foo5]
       val ls_foo: List[Foo5] = List(1,2,3).map(Foo5Companion.apply)
                                               ^

scala> :quit
$ scala -Yrepl-class-based 

     ________ ___   / /  ___  
    / __/ __// _ | / /  / _ | 
  __\ \/ /__/ __ |/ /__/ __ | 
 /____/\___/_/ |_/____/_/ | | 
                          |/  version 2.12.6

scala> :paste foo5.scala
Pasting file foo5.scala...
import scala.util.Try
defined class Foo5
defined object Foo5Companion

scala> val ls_i: List[Int] = List(1,2,3)
ls_i: List[Int] = List(1, 2, 3)

scala> val ls_foo: List[Foo5] = List(1,2,3).map(Foo5Companion.apply)
ls_foo: List[Foo5] = List(Foo5@52354202, Foo5@6b1321b7, Foo5@342ee097)

spark-shell“错误：类型不匹配”使用：paste来定义类/伴随对象

1 个答案: