我需要从网上下载几个网页。我使用wget（URL）下载它们，但我发现在下载一定量（少于100秒）之后它不会下载并出错。
任何人都可以告诉我们在文件中下载我的网址的最佳方式是什么。
Query1='"http://scholar.google.com/scholar?q=%22'+a+'%22&btnG=&hl=en&as_sdt=0%2C24"'
URL1='wget --user-agent Chrome '+Query1+' -O '+file1
os.system(URL1)
这是我正在使用的代码
由于