Jupyter实验室和jupyter nbconvert从CLI出现的内存问题,但不在Python交互式内部

时间:2019-10-21 23:08:36

标签: python jupyter jupyter-lab nbconvert

我有一个.ipynb文件,用于查询MSSQL数据库。这些查询执行三个SQL语句,分别被读入大小为pandas Mb的三个[56.68, 1870.47, 177.53]数据帧中。所有数据都是通过单个*.py文件读取的。我的机器正在运行Win10,并且具有32Gb的可用RAM。

当我使用VSCode和Python交互式进行开发时,可以毫无问题地导入我的模块。查询数据库和传输数据确实需要花费> 5分钟的时间(取决于连接)。读完所有三个数据集后,VSCode消耗约6000Mb的RAM。这可以。我也可以从保存.ipynb语句的import...文件的VSCode中运行单元格,而不会出现问题,除了查询/接收数据所需的时间。

但是,如果我通过Jupyter Lab gui运行*.ipynb文件中的所有单元格,则会收到“内存错误:

Memory error from Jupyter lab gui

当我更新jupyter_notebook_config.py文件到包含行c.NotebookApp.max_buffer_size = 250000000000时,我得到了相同的“内存错误”,将我认为是Jupyter的内存分配从〜.5Mb更改为25Gb。

类似地,当我尝试使用jupyter nbconvert --execute --ExecutePreprocessor.timeout=-1 [ipynb](首选的工作流程)从CLI转换文件时,我得到了另一个格式异常的“ MemoryError”,经过仔细检查,它看起来与错误相同从Jupyter Lab gui获取:

Memory error from Jupyter nbconvert...

这是怎么回事?为什么我可以毫无问题地通过Python Interactive读取数据文件,但是当我尝试通过Jupyter GUI读取数据文件或通过nbconvert执行它们时却失败了?我希望在Python终端或Python Interactive中运行的事物与Jupyter或通过nbconvert相同。显然我弄错了。

0 个答案:

没有答案
相关问题