使用Python检索javascript文件内容

时间:2017-01-10 18:19:12

标签: javascript python web-scraping python-requests

我需要使用Python检索JavaScript文件内容。我想也许requests可以做到这一点 - 也许它确实如此,但它要么不像我想象的那样简单,要么我做错了。

import requests
s = requests.Session()
r = s.get(link)

我得到的回应是

<HTML><HEAD>
<TITLE>Invalid URL</TITLE>
</HEAD><BODY>
<H1>Invalid URL</H1>
The requested URL "&#91;no&#32;URL&#93;", is invalid.<p>
Reference&#32;&#35;9&#46;3e1151c8&#46;1484072058&#46;308a223a
</BODY></HTML>

我需要它与php中的代码相同,

$ch = curl_init();      
curl_setopt($ch, CURLOPT_URL, $link);
$html = curl_exec($ch);

1 个答案:

答案 0 :(得分:1)

您需要执行http get请求

public abstract class BasePage extends WebPage {

  @SpringBean
  private I18NResourceLoader i18NResourceLoader;

  public BasePage(){
    addI18NResourceLoader();

      ...

  }

  private void addI18NResourceLoader() {
    final List<IStringResourceLoader> resourceLoaders = Application.get().getResourceSettings().getStringResourceLoaders();
    final boolean existsResourceLoader = resourceLoaders.stream()
            .filter(p -> p instanceof I18NResourceLoader)
            .collect(Collectors.counting()) > 0L;
    if (!existsResourceLoader) {
        resourceLoaders.add(i18NResourceLoader);
    }
  }

  ...

}

php代码正在使用curl,它比看起来更多