Google Colab:增加TCMALLOC_LARGE_ALLOC_REPORT_THRESHOLD

时间:2019-02-15 09:47:49

标签: python-3.x google-colaboratory

我有一个python脚本,我使用它在Google Colaboratory上运行

response.headers['Access-Control-Allow-Headers'] = 'Origin, X-Requested-With, Content-Type'
response.headers['Access-Control-Allow-Origin'] = '*'
response.headers['Access-Control-Allow-Methods'] = 'GET, POST, PUT, DELETE, PATCH, OPTIONS'
response.headers['Access-Control-Allow-Credentials'] = 'true'
response.headers['Access-Control-Max-Age'] = '86400'

它给了我

!python3 "/content/gdrive/My Drive/my_folder/my_file.py"

会话崩溃。 因此,我增加了tcmalloc: large alloc 21329330176 bytes == 0x18e144000 @ 0x7f736dbc2001 0x7f736b6f6b85 0x7f736b759b43 0x7f736b75ba86 0x7f736b7f3868 0x5030d5 0x506859 0x504c28 0x506393 0x634d52 0x634e0a 0x6385c8 0x63915a 0x4a6f10 0x7f736d7bdb97 0x5afa0a 的大小并通过以下方式运行代码:

TCMALLOC_LARGE_ALLOC_REPORT_THRESHOLD

但是我仍然收到相同的错误/警告。我在做什么错了?

1 个答案:

答案 0 :(得分:1)

该警告表示尝试分配21329330176字节,即大于20 GB的RAM。

那超出了Colab后端的内存容量,因此会导致崩溃。

您将希望重组计算以使用更少的并发内存,或者使用local runtime来利用具有更多可用内存的后端。