Question

我有一个龙卷风应用程序，使用tornado.process.Subprocess（特别是ansible-playbook）启动非龙卷风流程。我在ansible-playbook中有一个回调插件，可以在各个阶段运行数据库查询。从插件中，我想使用我在龙卷风过程中使用的相同tornado_mysql库。我能够用龙卷风的run_sync()方法做到这一点：

callback_plugin.py：

import db.py
from tornado import ioloop
io_loop = ioloop.IOLoop.instance()
def playbook_on_play_start(self, play):
    io_loop.run_sync(lambda: db.update_job_play(job_id, play))

db.py：

def get_conn():
    return pools.Pool(
        connect_kwargs={
            'host': settings.get('mysql_host'),
            'port': settings.get('mysql_port'),
            'user': settings.get('mysql_username'),
            'passwd': settings.get('mysql_password'),
            'db': settings.get('mysql_database_name'),
            'charset': 'utf8mb4',
            'init_command': 'SET NAMES \'utf8mb4\'',
            'cursorclass': DictCursor
        },
        max_idle_connections=settings.get('mysql_max_idle_connections'),
        max_open_connections=settings.get('mysql_open_connections')
    )

@tornado.gen.coroutine
def update_job_play(job_id, play):
    sql = """
    UPDATE `job`
    SET `current_play` = %(play)s
    WHERE `id` = %(job_id)s
    """
    yield get_conn().execute(sql, {
        'job_id': job_id,
        'play': play})

它有效，数据库已更新，但我收到此错误：

 ERROR:tornado.application:Exception in callback None        
 Traceback (most recent call last):
    File "/usr/local/lib/python2.7/site-packages/tornado/ioloop.py", line 882, in start
      fd_obj, handler_func = self._handlers[fd]
  KeyError: 13
  ERROR:tornado.application:Exception in callback None
  Traceback (most recent call last):
    File "/usr/local/lib/python2.7/site-packages/tornado/ioloop.py", line 882, in start
      fd_obj, handler_func = self._handlers[fd]
  KeyError: 13
  ERROR:tornado.application:Exception in callback None

我发现：Tornado IOLoop Exception in callback None in Celery worker似乎与此有关。 ansible-playbook是与主tornado应用程序不同的进程，但是ansible_playbook也会为它连接的每个主机分配一个新线程。

我的问题是，如何摆脱这个错误？

Answer 1

您不能跨线程共享IOLoops，这是您通过在playbook线程中调用IOLoop.instance()来执行的操作。相反，每次都要创建一个新的IOLoop：

def playbook_on_play_start(self, play):
    with contextlib.closing(tornado.ioloop.IOLoop()) as io_loop:
        io_loop.run_sync(lambda: db.update_job_play(job_id, play))

如何从非龙卷风python脚本中使用tornado_mysql？

1 个答案: