s3fs库导入失败

Question

AWS胶水未导入s3fs模块

import s3fs

我希望库可以导入，但AWS胶说

ImportError ： 没有名为s3fs的模块

Answer 1

AWS Glue作业预先安装了一些常见的库，但是除了您需要从pypi下载该库的import pymongo as pm CHUNK_SIZE = 500 client = pm.MongoClient() coll = client.get_database('db').get_collection('coll') cursor = coll.find({}, batch_size=CHUNK_SIZE) def yield_rows(cursor, chunk_size): """ Generator to yield chunks from cursor :param cursor: :param chunk_size: :return: """ chunk = [] for i, row in enumerate(cursor): if i % chunk_size == 0 and i > 0: yield chunk del chunk[:] chunk.append(row) yield chunk chunks = yield_rows(cursor, CHUNK_SIZE) for chunk in chunks: # do processing here pass 之外，还可以进行其他操作，在.whl的情况下可以找到{{ 3}}。

拥有该文件后，将其上传到s3存储桶，例如s3fs，并在控制台的s3://my-libraries/字段中引用它。

here

这将提示Glue在运行脚本之前在此存储桶中安装库。请注意，目前仅支持纯python库。