Sparklyr堆栈溢出错误联合多个表

时间:2017-06-17 09:03:32

标签: r sparklyr

我有一个用例,我希望将许多表拉入spark(因为它们将Cassandra分区分开),并将它们组合在一起,这样我就可以使用{{{}来处理生成的大表1}}和dplyr

我无法完全独立地处理所有表格,例如我的单独表格

group_by

我需要向表格提交查询

(a1), (a2), (a3), (a4), (b1), (b2), (b3), (b4)

因此我至少需要做一些分组。从概念上讲,通过"字母"将所有内容和小组结合起来要容易得多。在上面。

使用的代码的MWE产生堆栈溢出错误如下:

((a1, a2, a3, a4), (b1, b2, b3, b4))

任何人都可以通过更好的方式帮助我吗?我理解问题是我向SQL构建器提交了500个联合字符串,这样就会有一个荒谬的函数嵌套,但不确定是否有更简单的方法,其他而不是重构很多代码。

由于

1 个答案:

答案 0 :(得分:0)

这是通过sparklyr错误报告here

解决的