Question

我需要大量随机数，每行一个。结果应该是这样的：

24324 24324
4234234 4234234
1310313 1310313
...

所以我写了这个火花代码（对不起，我是Spark和scala的新手）：

import util.Random

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object RandomIntegerWriter {
  def main(args: Array[String]) {
    if (args.length < 2) {
      System.err.println("Usage: RandomIntegerWriter <num Integers> <outDir>")
      System.exit(1)
    }
    val conf = new SparkConf().setAppName("Spark RandomIntegerWriter")
    val spark = new SparkContext(conf)
    val distData = spark.parallelize(Seq.fill(args(0).toInt)(Random.nextInt))
    distData.saveAsTextFile(args(1))
    spark.stop()
  }
}

注意：现在我只想为每行生成一个数字。

但似乎当数字变大时，程序会报告错误。对这段代码有任何想法吗？

谢谢。

Answer 1

在Spark 1.4中，您可以使用DataFrame API执行此操作：

In [1]: from pyspark.sql.functions import rand, randn
In [2]: # Create a DataFrame with one int column and 10 rows.
In [3]: df = sqlContext.range(0, 10)
In [4]: df.show()
+--+
|id|
+--+
| 0|
| 1|
| 2|
| 3|
| 4|
| 5|
| 6|
| 7|
| 8|
| 9|
+--+

In [4]: # Generate two other columns using uniform distribution and normal distribution.
In [5]: df.select("id", rand(seed=10).alias("uniform"), randn(seed=27).alias("normal")).show()
+--+-------------------+--------------------+
|id|            uniform|              normal|
+--+-------------------+--------------------+
| 0| 0.7224977951905031| -0.1875348803463305|
| 1| 0.2953174992603351|-0.26525647952450265|
| 2| 0.4536856090041318| -0.7195024130068081|
| 3| 0.9970412477032209|  0.5181478766595276|
| 4|0.19657711634539565|  0.7316273979766378|
| 5|0.48533720635534006| 0.07724879367590629|
| 6| 0.7369825278894753| -0.5462256961278941|
| 7| 0.5241113627472694| -0.2542275002421211|
| 8| 0.2977697066654349| -0.5752237580095868|
| 9| 0.5060159582230856|  1.0900096472044518|
+--+-------------------+--------------------+

Answer 2

试

val distData = spark.parallelize(Seq[Int](), numPartitions)
  .mapPartitions { _ => {
    (1 to recordsPerPartition).map{_ => Random.nextInt}.iterator
  }}

它将在驱动程序端创建一个空集合，但在工作方生成许多随机整数。记录总数为：numPartitions * recordsPerPartition

Answer 3

在Spark群集上运行

当前版本实现了驱动程序内存中随机数的集合。如果该集合非常大，则驱动程序将耗尽内存。请注意，该版本不使用Spark的处理功能，因为它仅在创建数据后使用它来保存数据。

假设我们正在开发集群，我们需要做的是分发在执行程序中生成数据所需的工作。这样做的一种方法是通过在执行程序之间划分工作，将原始算法转换为可以跨集群工作的版本：

val numRecords:Int = ???
val partitions:Int = ???
val recordsPerPartition = numRecords / partitions // we are assuming here that numRecords is divisible by partitions, otherwise we need to compensate for the residual 

val seedRdd = sparkContext.parallelize(Seq.fill(partitions)(recordsPerPartition),partitions)
val randomNrs = seedRdd.flatMap(records => Seq.fill(records)(Random.nextInt))
randomNrs.saveAsTextFile(...)

在一台机器上运行

如果我们没有集群，并且这意味着要在一台机器上运行，那么问题就是＆＃34;为什么要使用Spark？＆＃34;。这个随机生成器进程基本上是I / O绑定的，可以通过顺序地将随机数写入文件来在O（1）内存中完成。

import java.io._
def randomFileWriter(file:String, records:Long):Unit = {
    val pw = new PrintWriter(new BufferedWriter(new FileWriter(file)))
    def loop(count:Int):Unit = {
        if (count <= 0) () else {    
          pw.println(Random.nextInt)
          writeRandom(writer, count-1)
        }
    }
    loop(records)
    pw.close
}

Answer 4

在Spark 2.3.0中工作

Python  
df = spark.range(0, 10)

Scala
val df = spark.range(0, 10)

如何使用spark生成大量的随机整数？

4 个答案:

在Spark群集上运行

在一台机器上运行