为python脚本分配URL以便在Google Cloud上运行cron作业?

时间:2018-09-08 03:07:04

标签: python django cron google-cloud-platform

我有一个简单的Django应用,该应用显示从数据库中提取的一些数据。我有一个Python脚本来更新数据,我希望它每天运行。我在弄清楚如何格式化我的app.yaml处理程序时遇到麻烦,以便它们响应cron.yaml。

cron.yaml看起来像这样:

cron:
- description: "daily update"
  url: /go
  schedule: every 24 hours

app.yaml看起来像这样(减去一些敏感部分):

runtime: python
entrypoint: gunicorn -b :$PORT rcg_new.wsgi # specific to a GUnicorn HTTP server deployment
env: flex

handlers:
- url: /static
  static_dir: static
- url: /go
  script: scripto.app

runtime_config:
  python_version: 3

脚本如下:

import pandas as pd
import numpy as np
import requests
import webapp2
import urllib2
import urllib3
import certifi
import json
import re
from rcg_func_dj import pull_rc, pull_artists, artist_cycle, tally

import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "rcg_new.settings")
import django
django.setup()
from rcg_app.models import Gender, Groups

http = urllib3.PoolManager(cert_reqs='CERT_REQUIRED', ca_certs=certifi.where())
spot_id = os.environ['SPOT_ID']
spot_sec = os.environ['SPOT_SEC']

class update_dbs(webapp2.RequestHandler):
    def get(self):

        self.response.headers["Content-Type"] = "text/html"
        self.response.write('running rcg...')
        rc = pull_rc(spot_id, spot_sec)
        artists_unprocessed = pull_artists(rc)
        artists_processed = artist_cycle(artists_unprocessed)
        tally(artists_processed)
        self.response.write('rcg done!')


routes = [('/go', update_dbs)]
app = webapp2.WSGIApplication(routes, debug=True) 

该脚本有效,因为我首先使用它来填充数据库!

它在任务队列中显示的很好,但是当我尝试运行它时却给我一个“失败”状态。日志中什么也没显示。

1 个答案:

答案 0 :(得分:1)

我从未通过webapp和app.yaml进行这项工作,但确实找到了一种解决方法:我在运行脚本的Django应用中创建了一个新视图。

花了一段时间才弄清楚!

棘手的部分是cron作业正在进行涉及从“ url / script /”之类的重定向到“ url / script”之类的呼叫,并且只会进行初始呼叫,而不会进行重定向。

因此,当您在Django应用的'urls.py'文件中定义路径时,请确保不要在结尾加上斜杠!

它应该看起来像这样:

urlpatterns = [
    path('script', views.script, name='script')
]

...不是这样的:

urlpatterns = [
    path('script/', views.script, name='script')
]

cron.yaml看起来像这样:

cron:
- description: "daily update"
  url: /app/script/
  schedule: every 24 hours

我仍然不完全理解为什么这样做。比我聪明的人,如果有注释,请跟进。