在Google Composer中安装hadoopy

Question

我正在使用google composer。

我们如何在google composer environment中安装 hadoopy 。

此页面包含在Linux计算机上installing hadoopy的步骤

Github克隆

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

PIP安装

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

我不知道如何在Google Composer环境中安装它

Answer 1

该软件包似乎在Python Package Index上可用。因此，您可以通过Web UI（您的作曲者环境> Pypi软件包选项卡>编辑>添加<your_dependency>==<version>）进行安装。您也可以通过命令行执行此操作：

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt应该包含以下内容：

hadoopy==0.6.0

请注意，安装依赖项可能会很长（Composer需要使用随附的软件包重建Docker映像）。

如果您想直接从Github上的源添加依赖项，则必须遵循docs中的步骤：Installing a local Python library。