如何将SparkR数据帧转换为本地R数据表？

Question

我正在将本地R脚本更改为sparkR。输入是hive表，我使用以下代码读取表：

>sparkR.session()
>results <- sql("SELECT * FROM temp.temp_ceshi limit 3")
>head(results)

>typeof(results)
[1] "S4"

本地R脚本使用fread来读取csv文件。我想将sparkR数据帧转换为data.table并使用本地R脚本。如何制作？

Answer 1

您可以使用collect()功能：

>results_df <- collect(results)

您还可以通过链接阅读有关转化的更多信息： https://markobigdata.com/2016/03/26/sparkr-and-r-dataframe-and-data-frame/