我正在尝试抓取网站,而star_urls包含方括号(?sec[3]=3)
当我尝试运行蜘蛛时,会发生的情况是括号被%5B
和%5D
替换。
我尝试使用ulrlib.unquote(url)
,但问题仍然存在!
这是我的代码:
import urllib as ul
...
urls = []
for sec in range(1, 20):
url = "http://www.website.com/something?sec[%d]=%d" % (sec,sec)
url = ul.unquote(url)
urls.append(url)
start_urls = urls
有人可以帮助我吗?