我想在Google ml-engine中运行工作。我首先验证了该程序包在本地正常工作,然后按照教程here将其提交到云中。作业已成功提交,但是我得到:
error: Error -3 while decompressing: invalid distance too far back
我看到有一个类似错误there的问题,但尚未解决。
我还看到这种错误通常是通过升级pip和setuptools来解决的,但是我的本地版本都是最新的,我自己也看不到在云中更新这些工具的方法。
目前,我正在尝试运行一个简单的演示作业,在其中输入名称并在控制台中将其打印出来。
平台:Windows 10
Python:2.7
命令行参数:
gcloud ml-engine jobs submit training hello_world \
--package-path=mypackage/trainer \
--module-name=trainer.demo --region=europe-west1 \
--staging-bucket=gs://bucket_name \
--scale-tier=BASIC \
-- \
--name=Bob
我的文件结构是:
mypackage\
|_____ trainer\
|_____ __init__.py
|_____ demo.py
|_____ setup.py
我的setup.py文件是:
from setuptools import setup, find_packages
# Setup parameters for Google Cloud ML Engine
setup(name='trainer',
version='0.1',
packages=find_packages(),
description='Example to run a script on gcloud ml-engine',
install_requires=['keras',
'h5py'],
zip_safe=False)
另一个令人困惑的方面是,相同的确切工作有时确实起作用。然后,我想尝试一些新的东西并得到解压缩错误,但是当我恢复到以前的工作代码时,我仍然遇到相同的解压缩错误。
以下是此错误的追溯:
INFO 2019-01-15 11:05:48 +0100服务正在验证职位要求...
INFO 2019-01-15 11:05:49 +0100服务作业创建请求已成功验证。
INFO 2019-01-15 11:05:49 +0100服务作业hello_world已排队。
INFO 2019-01-15 11:05:49 +0100服务等待作业被调配。
INFO 2019-01-15 11:05:53 +0100服务等待培训计划开始。
INFO 2019-01-15 11:06:41 +0100 master-replica-0运行带有参数的任务:--cluster = {“ master”:[“ 127.0.0.1:2222”]} --task = {“ type” :“ master”,“ index”:0} --job = {“ package_uris”:[“ gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz”],“ python_module”: “,” args“:[” --name \ u003dBob“],” region“:” europe-west1“,” run_on_raw_vm“:true}
INFO 2019-01-15 11:06:48 +0100主副本0正在运行模块trainer.demo。
INFO 2019-01-15 11:06:48 +0100 master-replica-0正在下载软件包:gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz
INFO 2019-01-15 11:06:48 +0100 master-replica-0正在运行的命令:gsutil -q cp gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz trainer-0.1。 br /> INFO 2019-01-15 11:06:50 +0100 master-replica-0安装软件包:gs://bucket_name/hello_world/0e742936e56a23c9f32a5c1a0bf40692436447395149b8b00def4f2fb2efccd9/trainer-0.1.tar.gz
INFO 2019-01-15 11:06:50 +0100 master-replica-0运行命令:pip install --user --upgrade --force-reinstall --no-deps trainer-0.1.tar.gz
INFO 2019-01-15 11:07:03 +0100主副本0处理./trainer-0.1.tar.gz
错误2019-01-15 11:07:03 +0100主副本0
例外:
错误2019-01-15 11:07:03 +0100 master-replica-0
追溯(最近一次呼叫过去):
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/cli /base_command.py”,第143行,位于主
错误2019-01-15 11:07:03 +0100主副本0状态= self.run(选项,参数)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/commands /install.py”,第318行,处于运行状态
错误2019-01-15 11:07:03 +0100主副本0解析器.resolve(requirement_set)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py“,第102行,在解决中
错误2019-01-15 11:07:03 +0100主副本0 self._resolve_one(requirement_set,req)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py“,第256行,在_resolve_one中
错误2019-01-15 11:07:03 +0100主副本0 abstract_dist = self._get_abstract_dist_for(req_to_install)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/resolve .py”,第209行,位于_get_abstract_dist_for
错误2019-01-15 11:07:03 +0100主副本0 self.require_hashhes
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/operations /prepare.py”,第283行,在prepare_linked_requirement中
错误2019-01-15 11:07:03 +0100 master-replica-0 progress_bar = self.progress_bar
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/download .py“,第823行,在unpack_url中
错误2019-01-15 11:07:03 +0100主副本0 unpack_file_url(链接,位置,download_dir,哈希=哈希)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/download .py“,第728行,在unpack_file_url中
错误2019-01-15 11:07:03 +0100主副本0 unpack_file(from_path,位置,content_type,链接)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/local/lib/python2.7/dist-packages/pip-18.1-py2.7.egg/pip/_internal/utils /misc.py”,行585,在unpack_file中
错误2019-01-15 11:07:03 +0100主副本0 tarfile.is_tarfile(文件名)或
错误2019-01-15 11:07:03 +0100主副本0文件is / tarfile中的文件/usr/lib/python2.7/tarfile.py,第2608行
错误2019-01-15 11:07:03 +0100主副本0 t =打开(名称)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1666,处于打开状态
错误2019-01-15 11:07:03 +0100主副本0返回func(name,“ r”,fileobj,** kwargs)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1738,在gzopen中
错误2019-01-15 11:07:03 +0100主副本0 t = cls.taropen(名称,模式,fileobj,** kwargs)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行1714,在taropen中
错误2019-01-15 11:07:03 +0100主副本0返回cls(名称,模式,fileobj,** kwargs)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,第1580行, init
错误2019-01-15 11:07:03 +0100主副本0 self.firstmember = self.next()
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,行2342,在下一个
错误2019-01-15 11:07:03 +0100主副本0 tarinfo = self.tarinfo.fromtarfile(self)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/tarfile.py”,第1244行,在fromtarfile中
错误2019-01-15 11:07:03 +0100主副本0 buf = tarfile.fileobj.read(BLOCKSIZE)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/gzip.py”,第268行,已读取
错误2019-01-15 11:07:03 +0100主副本0 self._read(readsize)
错误2019-01-15 11:07:03 +0100主副本0文件“ /usr/lib/python2.7/gzip.py”,第319行,位于_read
错误2019-01-15 11:07:03 +0100主副本0取消压缩= self.decompress.decompress(buf)
错误2019-01-15 11:07:03 +0100主副本0
错误:解压缩时出错-3:距离太远了无效距离
警告2019-01-15 11:07:03 +0100
master-replica-0在尝试1/2上安装软件包失败:
命令'['pip','install','--user','--upgrade','--force-reinstall', '--no-deps',u'trainer-0.1.tar.gz']'返回了非零退出状态2
警告2019-01-15 11:07:03 +0100主副本0
正在重试...
[...]
INFO 2019-01-15 11:07:04 +0100主副本0模块已完成;打扫干净。
INFO 2019-01-15 11:07:04 +0100主副本0清理完成。
错误2019-01-15 11:07:05 +0100服务副本主服务器0退出,其非零状态为2。