我正在解决一个问题,我需要使用spark上下文从R中的hive序列表中读取数据,将其转换为数据帧,然后将其作为事务数据。
我可以阅读该表但是我无法将其转换为数据帧,然后是事务数据。
表有13列和57行我现在限制数据使其工作,但实际表可以有超过40列和百万行
以下是代码
temp_1 <- tbl(sc,"schema.tablename")
temp_df <- as.data.frame(matrix(temp_1,ncol = 13, nrow = 57))
temp_1 <- tbl(sc,"schema.tablename")
temp_df <- as.data.frame(matrix(temp_1,ncol = 13, nrow = 57))
make_transaction <- as(split(temp_df[,"col1"], vod_daypart_custom[,"col2"]), "transactions")
有人可以告诉我该怎么办
谢谢, 普利文