scala spark paritions:理解输出

时间:2016-03-15 23:56:06

标签: scala apache-spark

我正在运行spark和scala。运行r.js时我得到的那条线的含义是什么?我的链接文件夹有10个文件。

  1. rawblocks.partitions.lengthres1代表什么?
  2. 还有一个地方我 可以找到火花方法的官方文档吗?例如我 想查看Int的详细信息。

    spark version 1.6.1

    textFile

1 个答案:

答案 0 :(得分:1)

  1. res1Int对Spark并不特殊:res1 Scala REPL (shell)中给出的名称未命名的值 - 结果被计算(从零开始),例如:

    scala> 10
    res0: Int = 10
    
    scala> "hello"
    res1: String = hello
    

    这也应该为您提供关于Int的线索 - 这是该值的推断类型(Scala的Int有点等同于Java的Integer)。

  2. Spark API:这里是Spark-core的两个主要入口点的文档:SparkContextRDD