在Google ml-engine上成功提交工作后,程序包无法安装

时间:2019-01-15 13:27:18

标签: python google-cloud-platform gcloud google-cloud-ml

我想在Google ml-engine中运行工作。我首先验证了该程序包在本地正常工作,然后按照教程here将其提交到云中。作业已成功提交,但是我得到:

error: Error -3 while decompressing: invalid distance too far back


我看到有一个类似错误there的问题,但尚未解决。
我还看到这种错误通常是通过升级pip和setuptools来解决的,但是我的本地版本都是最新的,我自己也看不到在云中更新这些工具的方法。

目前,我正在尝试运行一个简单的演示作业,在其中输入名称并在控制台中将其打印出来。


平台:Windows 10
Python:2.7
命令行参数:

gcloud ml-engine jobs submit training hello_world \
                 --package-path=mypackage/trainer \
                 --module-name=trainer.demo --region=europe-west1 \ 
                 --staging-bucket=gs://bucket_name \
                 --scale-tier=BASIC \ 
                 -- \ 
                 --name=Bob

我的文件结构是:

mypackage\
     |_____ trainer\
                |_____ __init__.py
                |_____ demo.py
     |_____ setup.py

我的setup.py文件是:

from setuptools import setup, find_packages

# Setup parameters for Google Cloud ML Engine
setup(name='trainer',
      version='0.1',
      packages=find_packages(),
      description='Example to run a script on gcloud ml-engine',
      install_requires=['keras',
                        'h5py'],
      zip_safe=False)

另一个令人困惑的方面是,相同的确切工作有时确实起作用。然后,我想尝试一些新的东西并得到解压缩错误,但是当我恢复到以前的工作代码时,我仍然遇到相同的解压缩错误。

以下是此错误的追溯:

  

INFO 2019-01-15 11:05:48 +0100服务正在验证职位要求...
  INFO 2019-01-15 11:05:49 +0100服务作业创建请求已成功验证。
  INFO 2019-01-15 11:05:49 +0100服务作业hello_world已排队。
  INFO 2019-01-15 11:05:49 +0100服务等待作业被调配。
  INFO 2019-01-15 11:05:53 +0100服务等待培训计划开始。
  INFO 2019-01-15 11:06:41 +0100 master-replica-0运行带有参数的任务:--cluster = {“ master”:[“ 127.0.0.1:2222”]} --task = {“ type” :“ master”,“ index”:0} --job = {“ package_uris”:[“ gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz”],“ python_module”: “,” args“:[” --name \ u003dBob“],” region“:” europe-west1“,” run_on_raw_vm“:true}
  INFO 2019-01-15 11:06:48 +0100主副本0正在运行模块trainer.demo。
  INFO 2019-01-15 11:06:48 +0100 master-replica-0正在下载软件包:gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz
  INFO 2019-01-15 11:06:48 +0100 master-replica-0正在运行的命令:gsutil -q cp gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz trainer-0.1。 br />   INFO 2019-01-15 11:06:50 +0100 master-replica-0安装软件包:gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz
  INFO 2019-01-15 11:06:50 +0100 master-replica-0运行命令:pip install --user --upgrade --force-reinstall --no-deps trainer-0.1.tar.gz
  INFO 2019-01-15 11:07:03 +0100主副本0处理./trainer-0.1.tar.gz
  错误2019-01-15 11:07:03 +0100主副本0
例外:
  错误2019-01-15 11:07:03 +0100 master-replica-0
追溯(最近一次呼叫过去):
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/cli /base_command.py”,第143行,位于主
  错误2019-01-15 11:07:03 +0100主副本0状态= self.run(选项,参数)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/commands /install.py”,第318行,处于运行状态
  错误2019-01-15 11:07:03 +0100主副本0解析器.resolve(requirement_set)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py“,第102行,在解决中
  错误2019-01-15 11:07:03 +0100主副本0 self._resolve_one(requirement_set,req)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py“,第256行,在_resolve_one中
  错误2019-01-15 11:07:03 +0100主副本0 abstract_dist = self._get_abstract_dist_for(req_to_install)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py”,第209行,位于_get_abstract_dist_for
  错误2019-01-15 11:07:03 +0100主副本0 self.require_hashhes
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/operations /prepare.py”,第283行,在prepare_linked_requirement中
  错误2019-01-15 11:07:03 +0100 master-replica-0 progress_bar = self.progress_bar
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/download .py“,第823行,在unpack_url中
  错误2019-01-15 11:07:03 +0100主副本0 unpack_file_url(链接,位置,download_dir,哈希=哈希)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/download .py“,第728行,在unpack_file_url中
  错误2019-01-15 11:07:03 +0100主副本0 unpack_file(from_path,位置,content_type,链接)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/utils /misc.py”,行585,在unpack_file中
  错误2019-01-15 11:07:03 +0100主副本0 tarfile.is_tarfile(文件名)或
  错误2019-01-15 11:07:03 +0100主副本0文件is / tarfile中的文件/usr/lib/python2.7/tarfile.py,第2608行
  错误2019-01-15 11:07:03 +0100主副本0 t =打开(名称)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1666,处于打开状态
  错误2019-01-15 11:07:03 +0100主副本0返回func(name,“ r”,fileobj,** kwargs)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1738,在gzopen中
  错误2019-01-15 11:07:03 +0100主副本0 t = cls.taropen(名称,模式,fileobj,** kwargs)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1714,在taropen中
  错误2019-01-15 11:07:03 +0100主副本0返回cls(名称,模式,fileobj,** kwargs)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,第1580行, init
  错误2019-01-15 11:07:03 +0100主副本0 self.firstmember = self.next()
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行2342,在下一个
  错误2019-01-15 11:07:03 +0100主副本0 tarinfo = self.tarinfo.fromtarfile(self)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,第1244行,在fromtarfile中
  错误2019-01-15 11:07:03 +0100主副本0 buf = tarfile.fileobj.read(BLOCKSIZE)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/gzip.py”,第268行,已读取
  错误2019-01-15 11:07:03 +0100主副本0 self._read(readsize)
  错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/gzip.py”,第319行,位于_read
  错误2019-01-15 11:07:03 +0100主副本0取消压缩= self.decompress.decompress(buf)
  错误2019-01-15 11:07:03 +0100主副本0
错误:解压缩时出错-3:距离太远了无效距离
  警告2019-01-15 11:07:03 +0100

  master-replica-0在尝试1/2上安装软件包失败:
命令'['pip','install','--user','--upgrade','--force-reinstall', '--no-deps',u'trainer-0.1.tar.gz']'返回了非零退出状态2
  警告2019-01-15 11:07:03 +0100主副本0
正在重试...
  [...]
  INFO 2019-01-15 11:07:04 +0100主副本0模块已完成;打扫干净。
  INFO 2019-01-15 11:07:04 +0100主副本0清理完成。
  错误2019-01-15 11:07:05 +0100服务副本主服务器0退出,其非零状态为2。

0 个答案:

没有答案