提取一个大的.tar.gz文件,并将大约10个csv上传到数据库

时间:2016-08-06 04:19:01

标签: php api csv cron server-configuration

从Crunchbase我正在下载一个大约350MB的.tar.gz文件,其中包含大小超过1.5GB的16 csv,我需要在数据库表中插入。 链接到crunchbase文档: Daily CSV Export 我已经在PHP中创建了一个cron文件来运行并为我工作。 我遇到的问题是当我在服务器上运行该脚本时,它会抛出504错误。 如何解决此错误,是否可以通过cron-job在服务器上处理这些大数据?

0 个答案:

没有答案