当我尝试从zip文件加载大型CSV时,执行日志会给我以下错误:
----------------------------------------- Error details ------------------------------------------
Component [Clientes:CLIENTES1] finished with status ERROR.
The size of data buffer is only 100663296. Set appropriate parameter in defaultProperties file.
--------------------------------------------------------------------------------------------------
如何在defaultProperties文件中设置适当的参数?
我试过这个link,但我的cloudconnect运行配置页面与链接不同:
我已经创建了参数文件并使用正确的值填充了其他参数,如教程(代码bellow)和屏幕上显示的相同错误。
Name: -config; Value: new_buffer_size.txt
new_buffer_size.txt内容只有这一行:DEFAULT_INTERNAL_IO_BUFFER_SIZE = 200000000
我该如何解决这个问题?我需要在世界爆炸之前解决这个问题。
答案 0 :(得分:1)
CloudConnect旨在开发ETL,可以在GoodData云工作者上运行,因此在这种情况下可以超越某些较低级别的设置。唯一合法的方法是使用当前设置修改ETL处理数据的方式。关于文档,引用的文章已经过时。 GoodData文档团队知道它是否正在准备文档重构。
注意:您可能已经注意到,CloudConnect由Javlin的Clover ETL提供支持,因此您可以随意查看他们的论坛,因为您会发现如何在较低级别(无UI)上解决问题,但它会工作仅适用于本地计算机上的数据处理。