我有大约188MB的CSV文件。当我尝试使用热文件夹技术上传数据时,它需要花费太多时间10-12小时。如何加快数据上传速度?
由于
答案 0 :(得分:1)
impex.import.workers
的默认值为1
。尝试更改此值。我建议首先使用比较小的文件进行性能测试,而不是188Mb(只是为了得到快速的结果)
调整后台服务器上的impex线程数以加快ImpEx文件处理速度。建议您从它开始,它等于后台节点上可用的核心数。您不应该将其调整为高于2 *核心数,并且仅当IMPEX进程将是节点上运行的唯一项目时才这样做。实际值可以介于两者之间,并且只能通过测试和分析服务器上运行的其他进程,作业,应用程序的数量来确定,以确保您不会最大化CPU。 注意:对于较低的环境,此值可能更高,因为Hybris可能是唯一运行的过程。