如何在spark中生成大量的记录

Question

如何在spark中生成大（百万）没有多个字段的记录。我不读取文件中的数据，但数据将是随机生成的数据。从我想创建的数据 RDD

Answer 1

您可以参考火花提供的Random data generation。

RandomRDDs提供工厂方法来生成随机双RDD或矢量RDD。

import org.apache.spark.SparkContext
import org.apache.spark.mllib.random.RandomRDDs._


val sc: SparkContext = ...

// Generate a random double RDD that contains 1 million i.i.d. values drawn from the
// standard normal distribution `N(0, 1)`, evenly distributed in 10 partitions.
val u = normalRDD(sc, 1000000L, 10)
// Apply a transform to get a random double RDD following `N(1, 4)`.
val v = u.map(x => 1.0 + 2.0 * x)