我编写了一个脚本来抓取Python27中的一些Web数据。但是对于某些网站,脚本会卡住并且似乎永远都会运行。
有没有办法在脚本运行时遵循它的工作原理?
我想知道它被困在哪里,或者实际上是在做什么。
我是新的python。但我对Ruby on Rails更熟悉一点。所以我想象在使用'rails s'启动后浏览应用程序时在Rails中观看控制台。
答案 0 :(得分:1)
您可以设置和使用透明代理(burpsuite)并检查脚本卡住的日志。 如果您正在使用请求模块,请使用以下代码。
http_proxy = "localhost:8080"
https_proxy = "localhost:8080"
proxyDict = {
"http" : http_proxy,
"https" : https_proxy
}
r = requests.get(url, headers=headers, proxies=proxyDict)
答案 1 :(得分:0)
如果从控制台运行python脚本,可以执行类似这样的操作
<强> example.py 强>
while condition:
print "I'm inside the while loop"
之后,您就可以运行
python example.py
您必须在控制台中看到"I'm inside the while loop"
,直到条件变为false
。如果要打印变量的值,则必须按照以下步骤操作:
variable = 45
text_variable = "hello"
while condition:
print "{0} -- {1}".format(variable,text_variable)
然后你会在控制台中看到
45 -- hello
45 -- hello
# And so on, until the condition returns false