我正在尝试创建一个应用程序:
打开其中包含的多个页面,检索呈现的页面源 包括由javascript填充的值
解析呈现页面源并为用户输出报告。 (这部分已完成)
我已经能够通过使用firefox addon firebug手动完成此任务,以查看呈现的页面源,将其复制到文件,我已经完成了解析器的编写。但是,我希望自动化这个过程,并尽可能地使用户友好,与那些可能不太精通技术的人分享。
我的困难在于使用Python完成步骤1和2。我一直在做很多关于使用库urllib,urllib2和cookielib的搜索和阅读,但是我还没弄清楚如何让它正常工作。
例如,我在stackoverflow上找到了这个片段:
import urllib, urllib2, cookielib
username = "xxx"
password = "xxx"
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data = urllib.urlencode({'username':username,'j_password':password})
opener.open('https://sellercentral.amazon.com/gp/homepage.html', login_data)
resp = opener.open('https://sellercentral.amazon.com/myi/search /ItemSummary.amzn?')
print resp.read()
现在,我知道我的opener.open错了,但我不知道在哪里可以找到我需要指向的亚马逊卖家中央登录脚本。
另外,我不确定我是否会以正确的方式解决这个问题。任何方向都非常感谢。
答案 0 :(得分:0)
看看这个
或者这个
http://wwwsearch.sourceforge.net/mechanize/j
在浏览器环境中可能会更容易做到你想做的事。
br.select_form(name="order")
# Browser passes through unknown attributes (including methods)
# to the selected HTMLForm.
br["cheeses"] = ["mozzarella", "caerphilly"] # (the method here is __setitem__)
# Submit current form. Browser calls .close() on the current response on
# navigation, so this closes response1
response2 = br.submit()
答案 1 :(得分:0)
请参阅Amazon Marketplace Web Services作为替代方案。它们似乎没有Python库,但有clients for other languages。