如何在Google Drive for Google Colab上安装conda？

Question

! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.8.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.8.2-Linux-x86_64.sh -b -f -p /usr/local
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

此代码单元为我的Google Colab安装了conda。 Colab的会话有时间限制，在活动计算8或9个小时后会重置环境状态和数据，因此我需要一次又一次重新启动此单元格。

是否可以在Google云端硬盘上安装conda和所有我需要的软件包？

Answer 1

这不是一个完美的解决方案，但它可能比每次下载和构建新的 conda 安装更快。步骤概览：

1. 将 conda 安装到 Colab 上的本地目录中，将此目录压缩并存储在 Google 云端硬盘中。
2. 当您启动新的 Colab 笔记本或重新启动现有笔记本时，请运行代码块以从 Google Drive 获取 conda 安装并重新设置环境。

1.创建 conda 的安装和您需要的包（仅一次）

下载并安装 miniconda 到 /content/miniconda3 目录：

%env PYTHONPATH=
! wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.9.2-Linux-x86_64.sh
! chmod +x Miniconda3-py37_4.9.2-Linux-x86_64.sh
! bash ./Miniconda3-py37_4.9.2-Linux-x86_64.sh -b -f -p /content/miniconda3

将 miniconda 添加到系统 PATH：

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path

安装你需要的 conda 包（例如 packagexyz）：

!conda install -c conda-forge packagexyz -y

可选代码块：检查 packagexyz 是否正常工作。这应该打印 packagexyz 的版本及其在 conda 目录中的位置：

import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")
import packagexyz
print(packagexyz.__version__, packagexyz.__file__)

将所有内容复制到 Google 云端硬盘（单击链接以获取身份验证代码，然后将其粘贴到框中）：

from google.colab import drive 
drive.mount('/content/drive')
!tar -zcf conda_colab.tar.gz /content/miniconda3
!cp conda_colab.tar.gz /content/drive/My\ Drive/

2.将 conda 复制回 Colab（每当您重新启动笔记本时运行）

挂载Google Drive（需要再次输入验证码），将conda安装拷贝回，重新设置环境：

from google.colab import drive 
drive.mount('/content/drive')

!tar -xf /content/drive/My\ Drive/conda_colab.tar.gz -C ../

import os
path = '/content/miniconda3/bin:' + os.environ['PATH']
%env PATH=$path
%env PYTHONPATH=
import sys
_ = sys.path.append("/content/miniconda3/lib/python3.7/site-packages")

注意事项

• 此解决方案仅经过轻微测试。您可能需要根据您安装的软件包设置其他环境变量。
• 通过调整 tar 压缩设置，步骤 2 可能会更快。如果您有一个非常大的 conda 安装，请考虑在第 1 步和第 2 步开始时使用 apt-get 安装 pigz，然后将 --use-compress-program=pigz 添加到 !tar... 命令以并行化压缩和解压缩步骤。