Question

我正在处理客户并在Jupyter Notebook上购买数据。我当时很舒服地在上面编写和执行代码，但是突然之间，它的速度变慢了，甚至不得不花很长时间才能执行一个简单的代码，例如print('A')。最糟糕的是，它没有显示任何错误，因此我完全不知道Jupyter Notebook或我的代码有什么问题。

原始数据有点大。我合并了两个数据集，分别具有424,699行和22列，以及总共4,308,392行和39列。

The versions:
Python → 3.7.4
Jupyter Notebook → 6.0.0
windows 10 pro

我只想提高Jupyter Notebook的执行速度。

Answer 1

可能您的内存使用量很高，然后jupyter笔记本放慢了速度，因为它随后进入了硬盘。风险还在于它可能很快崩溃。

尝试清理所有不再需要的数据。如果合并后不需要数据集，请删除它。 How to delete multiple pandas (python) dataframes from memory to save RAM?

a, b, c = pd.DataFrame(), pd.DataFrame(), pd.DataFrame()
lst = [a, b, c]
del a, b, c # dfs still in list
del lst     # memory release now

在此线程中，您可以了解如何在python中跟踪内存和cpu的使用： How to get current CPU and RAM usage in Python?

#!/usr/bin/env python
import psutil
# gives a single float value
psutil.cpu_percent()
# gives an object with many fields
psutil.virtual_memory()
# you can convert that object to a dictionary 
dict(psutil.virtual_memory()._asdict())

这里也是概述，取决于您的系统，您的内存使用了多少不同的数据类型： In-memory size of a Python structure

为什么Jupyter Notebook突然减速这么快？

1 个答案: