在16GB RAM的笔记本电脑上绘制熊猫图

时间:2017-01-17 23:52:28

标签: python pandas plot

我正在处理一个1.7 GB的Python jupyter IPython笔记本中的数据集。我使用.csv阅读了pd.read_csv我正在使用的$pdf->save(),我的内存使用率最高可达7GB。

当我尝试从数据集中绘制我的一个列的时间序列时,我的RAM上升到接近16GB。我担心笔记本电脑的性能,所以我决定打断内核。

我的问题是双重的:

  • 如果我让细胞运转,情节最终会出现吗?或者,它是否无法绘制我的图表,因为它达到了RAM的限制?
  • 我的数据是一个月内逐秒数据的时间序列,主要包含零。我应该从数据中删除这些零,并且是否可以更容易绘制?

1 个答案:

答案 0 :(得分:1)

  1. 最终会出现。即使它使用超过16gb,它也会使用页面文件来获得更多的虚拟内存。它叫做分页。它是现代操作系统中内存实现的重要组成部分,使用二级存储使程序超出可用物理内存的大小。当计算机耗尽RAM时,操作系统(OS)会将内存页面移动到计算机的硬盘上以释放RAM以用于其他进程。这可确保操作系统永远不会耗尽内存并崩溃。 有关详细信息:http://searchservervirtualization.techtarget.com/definition/memory-paging
  2. enter image description here

    1. 这取决于你是否需要零。根据它们添加的数据量,可能更容易绘制或可视化。