SparkR写入Parquet文件

时间:2016-06-27 07:18:16

标签: parquet sparkr

我正在尝试将数据框写入镶木地板格式。数据框是

  

STR(试验)   ' data.frame':365 obs。 4个变量:    $ id:chr" Apple" "苹果" "苹果" "苹果" ...    $ text:chr"譲渡拡散希望\ npsychopassサイコパスレーディングラバーストラップ宜野座伸元\ n特典円通常円送料にてお譲りします検索からでもお" | 截断"转发\ n \ n \ n \ n \ n \ n当前正在向全世界灌输白蛋白" " haarlem vacature internet strateeg opzoek naar cto software architectlead developer star applehaarl" "ในอายทเทากน\ nผหญงมความเปนผใหญมากกวาผชาย\ nไมมผชายคนไหนไปไดสวยกบผหญงอายเทากนไดหรอก \ n你是"" | 截断 ...    $ emotion:chr" unknown" "未知" "未知" "未知" ...    $ polarity:chr" positive" "正" "正" "正" ...

当我尝试使用write.parquet时,我收到以下错误

write.parquet(测试" HDFS://xxx.xxx.xxx.xxx:9000 / orcladv / intdata / processedtweets&#34) (函数(classes,fdef,mtable)中的错误:   无法为签名'" data.frame","字符"'

找到函数'write.parquet'的继承方法

有没有人遇到过这个问题。请帮我解决这个问题。

此致

巴拉

1 个答案:

答案 0 :(得分:1)

错误消息中的

“data.frame”表示您正在使用R data.frame。您正在使用的write.parquet()函数在Spark DataFrames上运行,而不是R data.frames。

如何在这两者之间进行转换的详细信息:https://spark.apache.org/docs/latest/sparkr.html#creating-dataframes