无法将awodbc与aws lambda和API网关

时间:2017-12-29 00:40:47

标签: python amazon-web-services aws-lambda chalice

我正在尝试使用APi Gateway构建一个AWS Lambda函数,该函数可以使用pyodbc python包。我已按照文档中提到的步骤进行操作。我一直收到以下错误无法导入模块' app':libodbc.so.2:无法打开共享对象文件:当我测试运行Lambda函数时没有这样的文件或目录

任何帮助表示赞赏。当我使用Chalice部署我的包时,我收到了同样的错误。似乎我可能需要安装unixodbc-dev。知道如何通过AWS Lambda做到这一点吗?

5 个答案:

答案 0 :(得分:1)

pyodbc使用一些本机库。因此,您不能只将site-packages的内容复制到Lambda,因为您的操作系统可能不是Amazon Linux。

因此,您需要在Amazon Linux实例上安装pyodbc并使用生成的库:

https://docs.aws.amazon.com/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html

或者你可以从这里获得,如果有的话:

https://github.com/Miserlou/lambda-packages

答案 1 :(得分:1)

只需从这里解压缩该文件-github - lambda_packages/pyodbc。其中包含.so文件。

现在将python代码和.so文件打包在一起,然后上传到AWS lambda。供您参考的文件夹结构应如下所示。

lambda_function.py
libodbc.so.2
pyodbc.so
<name_this_zip>.zip

No subfolders exist

答案 2 :(得分:0)

尝试运行此脚本以将依赖关系收集到s3存储桶中,然后将其添加到lambda部署包中。

""" 
This lambda function collects python pip dependencies, and uploads them to S3 bucket 
as a single tar.gz file. Example input for Lambda event: 
    event = {
        "prefix"            : "myPackage",
        "saveToS3Bucket"    : "my-s3-bucket",
        "saveToS3Key"       : "package-jwt.tar.gz",
        "requirements"      : [ "cryptography==2.1.3",
                                "PyJWT==1.5.3" ]
    }

Minimal Lambda execution role:
    {
        "Version": "2012-10-17",
        "Statement": [
            {
                "Sid": "Stmt1507151548000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject"
                ],
                "Resource": [
                    "arn:aws:s3:::my-s3-bucket/package-jwt.tar.gz"
                ]
            },
            {
                "Effect": "Allow",
                "Action": [
                    "logs:CreateLogGroup",
                    "logs:CreateLogStream",
                    "logs:PutLogEvents"
                ],
                "Resource": "*"
            }
        ]
    }
"""

from subprocess import check_output
import uuid
import boto3

DEBUG_OUT_FILE = "/tmp/debug.txt"
S3 = boto3.resource('s3')


def lambda_handler(event, context):
    """ 
    """

    requirements = event.get('requirements', [])
    prefix = event.get('prefix', 'myPackage')
    saveToS3Bucket = event.get('saveToS3Bucket', None)
    saveToS3Key = event.get('saveToS3Key', None)
    location = "%s_%s" % (prefix, uuid.uuid4())
    destinationPath = '/tmp/%s' % location
    tarFileName = '/tmp/%s.tar.gz' % location

    for req in requirements:
        _exec(['pip', 'install', req, '-t', destinationPath])

    _exec(['tar', 'czvf', tarFileName, destinationPath])
    _persist_file_to_s3(tarFileName, saveToS3Bucket, saveToS3Key)
    return 'done!'


def _exec(statements):
    if statements and type(statements) == list:
        with open(DEBUG_OUT_FILE, "a") as f:
            try:
                f.write("\n$ %s \n" % " ".join(statements))
                rv = check_output(statements).decode("utf8")
                f.write(rv)
                print(rv)
            except Exception as ex:
                print(ex)
                f.write(str(ex))


def _persist_file_to_s3(filePathToUpload, s3Bucket, s3Key):
    if filePathToUpload and s3Bucket and s3Key:
        S3.meta.client.upload_file(filePathToUpload, s3Bucket, s3Key)

答案 3 :(得分:0)

Fisrt,使用unixODBC安装unixODBC-develyum install unixODBC unixODBC-devel个软件包。此步骤将安装pyodbc模块所需的所有内容。

您缺少的库位于Amazon Linux实例上的/usr/lib64文件夹中。 将库复制到python项目的根文件夹(libodbc.so.2只是一个符号链接,请确保复制列出的符号链接和库本身):libodbc.solibodbc.so.2和{{1} }

答案 4 :(得分:0)

@joarleymoraes answer是正确的。

每个Lambda实例都是从Amazon Linux AMI创建的容器。 pyodbc需要一些本机库才能运行,这些库在Lambda容器中默认情况下不存在。因此,要使工作正常进行,您需要确保Lambda环境除了pyodbc和您的功能代码之外还包括这些本机库。

请参见https://medium.com/@narayan.anurag/breaking-the-ice-between-aws-lambda-pyodbc-6f53d5e2bd26,以详细了解问题和解决方案。