Question

我正在尝试使用Python 2.7解析一个网页我想阅读整个HTML代码。但结果是这样的......

<html><head><script type="text/javascript">
location.replace( "http://captcha.search.daum.net/captcha/show?url=http%3A%2F%2Fsearch.daum.net%2Fsearch%3Fw%3Dnews%26nil_search%3Dbtn%26DA%3DNTB%26enc%3Dutf8%26cluster%3Dy%26cluster_page%3D1%26q%3D%25EB%25B3%25B4%25EA%25B3%25A0%25EC%2584%259C" );
</script>
</head></html>

我认为此网页使用的是JavaScript。如何解析JavaScript中包含的整个HTML代码？

我的python代码就是这个......

#-*- coding: utf-8 -*-

import urllib2
from bs4 import BeautifulSoup

url = "http://search.daum.net/search?w=news&nil_search=btn&DA=NTB&enc=utf8&cluster=y&cluster_page=1&q=%EB%B3%B4%EA%B3%A0%EC%84%9C"
page = urllib2.urlopen(url)
soup = BeautifulSoup(page.read())

print soup

Answer 1

这个页面似乎需要一些标题才能正确显示。

尝试将请求中的页眉添加到汤命令中，发送与浏览器发送的相同参数，以便在浏览器中看到结果

如何在网页中解析JavaScript？

1 个答案: