使用sparklyr阅读时数据错误

时间:2018-03-01 16:13:00

标签: r apache-spark sparklyr

我正在使用R和sparklyr处理来自Spark的一些数据。我按顺序阅读两个镶木地板文件

v1 <- spark_read_parquet(sc, "events","s3n://project/sessions.parquet", memory="true")
head(v1)
v2 <- spark_read_parquet(sc, "events","s3n://project/users.parquet", memory="true")
head(v1)
head(v2)

在第一次阅读之后,head正确地给出了刚读取的表格中的信息。在第二次读取之后,head(v1)给出 second 表中的信息,而不是第一个。在v2中数据始终是正确的。任何提示?

0 个答案:

没有答案