Question

CKAN版本（如果已知）（或网站网址）：
最新

请描述预期的行为：
大文件使用datastore上传到datapusher。

请描述实际行为：
上传普通大小的文件时，一切都很完美。

但是，当尝试使用datapusher将大型csv文件（750 mb，而不是SO大但仍然）上传到数据存储区时，我收到此错误：

_"Job "push_to_datastore (trigger: RunTriggerNow, run = True, next run at: None)" raised an exception
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/apscheduler/scheduler.py", line 512, in _run_job
    retval = job.func(*job.args, **job.kwargs)
  File "/usr/lib/ckan/datapusher/src/datapusher/datapusher/jobs.py", line 364, in push_to_datastore
    f = cStringIO.StringIO(response.read())
  File "/usr/lib/python2.7/socket.py", line 359, in read
    return buf.getvalue()
MemoryError"_

我在我的ckan conf文件中，在我的nginx_proxy_cache中更改了datapusher_settings.py中的内存允许大小，但我没有看到错误。

我更改内容的更多细节：

在production.ini中

ckan.max_resource_size = 5120

https://github.com/ckan/datapusher/blob/master/datapusher/jobs.py#L28

中的

MAX_CONTENT_LENGTH = 1024000000

proxy_cache_path / tmp / nginx_cache levels中的缓存大小= 1：2 keys_zone = cache：30m max_size = 250m; 和nginx conf文件中的client_max_body_size 10000M;。

我确实需要帮助。提前致谢， Twinko5

Datapusher内存错误数据存储区

0 个答案: