如何从另一个脚本解析字符串到蜘蛛

Question

我是python和scrapy的新手。 我正在使用另一个python脚本运行scrapy-ctl.py subprocess module.But我想解析蜘蛛的'start url' 这个脚本本身。是否可以解析start_urls（它们是 在运行scrapy-ctl的脚本中确定了蜘蛛？ 我会很高兴有关于此的任何建议或想法.... :)

提前感谢....

Answer 1

您可以覆盖蜘蛛中的start_requests()方法来获取启动请求（默认情况下，使用start_urls属性中的网址生成）。