以登录用户身份运行cronjob

Question

我目前正在运行一个php cronjob来抓取一些HTML。我来到了一个必须登录才能访问某些数据的场景。如何实现这一目标？

cronjob正在我无法访问的服务器上运行。

基本上，我只想说，我正在尝试访问一些HTML数据，这些数据仅在用户登录后才可用。我有登录详细信息，但不知道如何使用cronjob实现它。

干杯！

Answer 1

通过“用户登录”，我想你的意思是“用户如果使用浏览器就会登录”？

如果是，您的PHP脚本需要抓取HTML：

• POST数据，如果填写表格
• 从服务器获取答案;可能会提取会话的cookie
• 为后续请求发送这些Cookie

您可能有兴趣使用一些已有的库来促进这一点。
例如，您可以查看Zend_Http_Client（see also;关于Sending Multiple Requests With the Same Client的部分可能会让您感兴趣;-)）

您可能还想看看其他一些问题/答案，例如：

• How would I go about writing a simple PHP bot?
• How to receive HTTP cookies from a web server in PHP?

Answer 2

您可以使用SimpleTest中的SimpleBrowser来自动抓取。它是SimpleTest框架的一部分，但它可以单独使用。