如何将火花图与.net一起使用以产生火花

Question

如何将.net的火花图用于火花？ 就像在python中一样：

nums=sc.parallelize([1,2,3,4])
squared=nums.map(lambda x: x*x).collect);

按比例：

val input=sc.parallelize([1,2,3,4])
val res=input.map(x=>x*x)

但是.net数据框没有名为map的功能

此文档（https://docs.microsoft.com/en-us/dotnet/api/microsoft.spark.sql.functions.map?view=spark-dotnet）尚未演示。

Answer 1

map函数属于RDD API，而.Net实现了Dataframe API（又名Spark SQL）。您需要使用正确的函数，例如Select来转换数据。因此，如果您将数据放入数据帧df中，则可以在map中使用df.Select(df["col"]*df["col"])等操作。

请参见Spark.Net存储库中的examples。