Cloudconnect CSV缓冲区大小

时间:2017-06-02 21:42:47

标签: csv etl gooddata cloud-connect

当我尝试从zip文件加载大型CSV时,执行日志会给我以下错误:

----------------------------------------- Error details ------------------------------------------
  Component [Clientes:CLIENTES1] finished with status ERROR.
   The size of data buffer is only 100663296. Set appropriate parameter in defaultProperties file.
--------------------------------------------------------------------------------------------------

如何在defaultProperties文件中设置适当的参数?

我试过这个link,但我的cloudconnect运行配置页面与链接不同:enter image description here

我已经创建了参数文件并使用正确的值填充了其他参数,如教程(代码bellow)和屏幕上显示的相同错误。

Name: -config; Value: new_buffer_size.txt

new_buffer_size.txt内容只有这一行:DEFAULT_INTERNAL_IO_BUFFER_SIZE = 200000000

我该如何解决这个问题?我需要在世界爆炸之前解决这个问题。

1 个答案:

答案 0 :(得分:1)

CloudConnect旨在开发ETL,可以在GoodData云工作者上运行,因此在这种情况下可以超越某些较低级别的设置。唯一合法的方法是使用当前设置修改ETL处理数据的方式。关于文档,引用的文章已经过时。 GoodData文档团队知道它是否正在准备文档重构。

注意:您可能已经注意到,CloudConnect由Javlin的Clover ETL提供支持,因此您可以随意查看他们的论坛,因为您会发现如何在较低级别(无UI)上解决问题,但它会工作仅适用于本地计算机上的数据处理。