hadoop for spark：增加分区数量

Question

每次尝试使用hadoop-2.6.0-for-spark连接器加载巨大的弹性搜索索引时，我都会收到错误。

在纱线上运行火花。

{{1}}

到目前为止，我看到的解决方案是增加分区的数量，但是如何使用hadoop-2.6.0-for-spark来做这件事。

有什么想法吗？

Answer 1

我最后通过增加执行程序内存来​​修复此问题，似乎在尝试将RDD缓存到磁盘时会因为缓存到磁盘的块大小而引发异常。