使用PM2运行带有Selenium和Chromedriver的Python应用程序不断崩溃并重新启动

时间:2018-04-11 18:13:57

标签: python-3.x google-chrome selenium pm2

我在让我的应用程序在PM2中运行时遇到了问题。这是一个简单的Python 3应用程序,它使用Selenium和Chrome / chromedriver来抓取我们的网站。我认为问题在于Chrome本身位于应用程序文件夹之外的其他文件夹中,或者一旦启动就失去与Chrome / chromedriver进程的连接,而我只是不知道如何告诉PM2包含这些进程。

脚本在没有PM2的情况下运行正常,所以我不确定问题出在哪里或如何解决。这是每次重启后生成的输出(它基本上会启动,崩溃并不断重启,而不会连接到网站):

0|Scraper  | [2018-04-11 10:07:32.222861] STARTING SCRAPER
0|Scraper  | Traceback (most recent call last):
0|Scraper  |   File "/home/myapp/Scraper.py", line 1617, in <module>
0|Scraper  |     process()
0|Scraper  |   File "/home/myapp/Scraper.py", line 164, in process
0|Scraper  |     browser              = webdriver.Chrome(chrome_options = options, executable_path = path_to_chromedriver)
0|Scraper  |   File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/chrome/webdriver.py", line 62, in __init__
0|Scraper  |     self.service.start()
0|Scraper  |   File "/usr/local/lib/python3.5/dist-packages/selenium/webdriver/common/service.py", line 100, in start
0|Scraper  |     time.sleep(1)
0|Scraper  | KeyboardInterrupt  <--- I'm guessing this is PM2 killing the app after an error?
0|Scraper  |     Progress is Empty  <--- 'Empty' because it never did anything
0|Scraper  |     Progress SAVED

这些是我的Chrome选项:

options  = webdriver.ChromeOptions()
options.binary_location = '/usr/bin/google-chrome'
options.add_argument('headless')
options.add_argument('--log-level=3')
options.add_argument('window-size=1920x1080')
options.add_argument('--mute-audio')
options.add_argument('no-sandbox')

chromedriver本身直接位于apps父目录中。

这是我的PM2进程json文件:

{
  "apps" : 
  [
    {
      "name"        : "Scraper",
      "script"      : "Scraper.py",
      "interpreter" : "python3",
      "watch"       : true
    }
  ]
}

我所做的只是PM2 start Scraper-process.json然后PM2 logs Scraper来查看输出。

编辑: 这是chromedriver的初始化

try:
    path_to_chromedriver = "chromedriver"
    browser              = webdriver.Chrome(chrome_options = options, executable_path = path_to_chromedriver)
except Exception as e:
    print("[ERROR] Chromedriver: " + str(e))

然后我开始将它发送到我们的页面:

browser.get(ourURL)

1 个答案:

答案 0 :(得分:0)

似乎问题出在我的PM2流程文件中。我错误地设置了#34;观看&#34;为true,忘记应用程序经常更改文件,这导致pm2每次都重新启动应用程序。