标签： php laravel web-crawler
我会使用Laravel和Goutte来抓取4个网站。
网址数量是900，我不知道如何发送网址
（我写了抓取代码，对此没有任何疑问）
但我不知道如何发送网址？ 我必须使用队列或cronJob或......？
你认识到任何包装或工具或想法吗？我不知道发送900个网址，一天5次
答案 0 :(得分：1)
如果您为网站编写了抓取代码，则可以将链接分开并以CSV格式存储。您应该编写另一个脚本，以便在CSV文件中使用这些URL的确切数字进行读取并将其发送回去。使用open.csv库在Ruby中非常容易。