使用Python Webscraping的项目

时间:2017-05-30 19:38:19

标签: php python api server

我正在开展一个项目,我只是想知道什么路线(如果我没有沿着正确的路线走下去)我应该下去才能顺利完成这个项目。

渡轮时间:此应用程序使用船只坐标和ETA算法来确定船只何时接近某个目的地。

现在,我已经制作了一个有效的原型,但不是我想要的原型。为了让我的ETA能够准确地显示在我的网站上,我有一个python脚本,每分钟都会运行 webscrape 来自特定网站的这些坐标,做一个算法,并吐出一个ETA。然后将ETA发送到我的数据库,在那里我使用PHP和SQL在我的网站上显示它。

只要此脚本正在运行,ETA就会更新(我真的在Eclipse上运行脚本并将其保留在那里)

现在我的问题:有没有办法可以避免运行脚本?几乎像一个API。或者根本不使用数据库?

谢谢!

2 个答案:

答案 0 :(得分:1)

如果算法的结果仅取决于最后的刮擦而不是几次刮擦的历史记录,那么您可以“按需”刮除并将您的算法部署为AWS lambda函数。

答案 1 :(得分:0)

即使他们有API,你仍然需要针对它运行一些东西来获得结果。如果您不想打开IDE,可以使用cron来调用脚本。