Question

我正在使用名为PyAthenaJDBC的python模块，以便使用提供的JDBC驱动程序查询Athena。这是链接：https://pypi.python.org/pypi/PyAthenaJDBC/

我一直面临着一些持久的问题。每当我连续两次使用Athena连接时，我会不断收到此java错误。

事实上，我能够连接到Athena，显示数据库，创建新表甚至查询内容。我正在使用Django构建一个应用程序并运行其服务器以使用Athena 但是，我有义务重新运行服务器，以便Athena连接再次工作，

以下是我建立的课程的一瞥

 import os
import configparser
import pyathenajdbc


#Get aws credentials for the moment
aws_config_file = '~/.aws/config'

Config = configparser.ConfigParser()
Config.read(os.path.expanduser(aws_config_file))

access_key_id = Config['default']['aws_access_key_id']
secret_key_id = Config['default']['aws_secret_access_key']


BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
athena_jdbc_driver_path = BASE_DIR + "/lib/static/AthenaJDBC.jar"
log_path = BASE_DIR + "/lib/static/queries.log"

class PyAthenaLoader():
    def __init__(self):
        pyathenajdbc.ATHENA_JAR = athena_jdbc_driver_path

    def connecti(self):
        self.conn = pyathenajdbc.connect(
                              s3_staging_dir="s3://aws-athena-query-results--us-west-2",
                              access_key=access_key_id,
                              secret_key=secret_key_id,
                              #profile_name = "default",
                              #credential_file = aws_config_file,
                              region_name="us-west-2",
                              log_path=log_path,
                              driver_path=athena_jdbc_driver_path
                              )


    def databases(self):
        dbs = self.query("show databases;")
        return dbs

    def tables(self, database):
        tables = self.query("show tables in {0};".format(database))
        return tables

    def create(self):
        self.connecti()
        try:
            with self.conn.cursor() as cursor:
                cursor.execute(
                    """CREATE EXTERNAL TABLE IF NOT EXISTS sales4 (
                        Day_ID date,
                        Product_Id string,
                        Store_Id string, 
                        Sales_Units int,
                        Sales_Cost float, 
                        Currency string
                    ) 
                    ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
                    WITH SERDEPROPERTIES (
                        'serialization.format' = '|',
                        'field.delim' = '|',
                        'collection.delimm' = 'undefined',
                        'mapkey.delim' = 'undefined'
                    ) LOCATION 's3://athena-internship/';
                """)

                res = cursor.description
        finally:
            self.conn.close()
        return res


    def query(self, req):
        self.connecti()     
        try:
            with self.conn.cursor() as cursor:
                cursor.execute(req)
                print(cursor.description)
                res = cursor.fetchall()
        finally:
                self.conn.close()
        return res


    def info(self):
        res = []
        for i in dir(pyathenajdbc):

            temp = i + ' = ' + str(dic[i])
            #print(temp)
            res.append(temp)    

        return res

使用示例：

def test(request):
        athena = jdbc.PyAthenaLoader()
        res = athena.query('Select * from sales;')
        return render(request, 'test.html', {'data': res})

工作得很好！但是刷新页面会导致此错误：

Error

请注意，我使用的是本地.jar文件：我认为这样可以解决问题，但我错了即使我删除了JDBC驱动程序的路径并让模块从s3下载它，错误仍然存在：

文件＆＃34; /home/tewfikghariani/.virtualenvs/venv/lib/python3.4/site-packages/pyathenajdbc/connection.py"，第69行， init ATHENA_CONNECTION_STRING.format（region = self.region_name，schema = schema_name），道具） jpype._jexception.java.sql.SQLExceptionPyRaisable： java.sql.SQLException：找不到合适的驱动程序 JDBC：awsathena：//athena.us-west-2.amazonaws.com：443 /蜂房/默认/

此外，当我自己运行模块时，它工作得很好。当我在渲染模板之前在视图中设置多个连接时，它也可以正常工作。

我猜这个问题与django视图有关，一旦其中一个视图与athena进行连接，下一个连接就不再可能了，除非我重新启动服务器，否则会引发错误

有任何帮助吗？如果缺少其他细节，我会立即提供。

Answer 1

更新：在github上发布问题后，作者解决了这个问题并发布了一个完美的新版本。这是JPype的多线程问题。

回答问题！

参考：https://github.com/laughingman7743/PyAthenaJDBC/pull/8

第二次尝试使用Django

1 个答案: