cURLlib / File_get_contents仅加载部分数据

时间:2014-01-26 23:14:59

标签: php css curl file-get-contents

所以我正在做一个小项目,我想从另一个网站获取一些数据。在做了一些阅读之后,我想我应该使用cURL lib(& get_file_contents()) - 但显然不是那么容易。
在我的情况下,我想要一个表{@ 3}}中包含的一些数据 但问题是,它只返回网站的部分 - 我缺少所有的表格数据,而且大多数的css(不是我关心的css)。

到目前为止,我已尝试过,simple_html_domcURLfile_get_contents($url)以及其他一些解析器,所有这些解析器似乎只返回部分数据。我现在用了几个小时,似乎没有去任何地方。

我目前正在使用以下代码来检索网站。

function curl($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $data = curl_exec($ch);
    curl_close($ch);
    return $data;
}

它给我这样的回复 - http://www.nasdaqomxnordic.com/news/companynews
我会感激一些帮助,我正要把头脑砸到一些东西 - 没有人喜欢清理血液:)。

修改
所以我做了一些挖掘,似乎是因为网站上的大部分内容是动态加载的。

那么我现在的选择是什么?我设法获取HTTP GET请求,获取数据 - 但我不确定我的下一步是什么:)

1 个答案:

答案 0 :(得分:0)

如果您不以编程方式执行此操作,那么我建议您使用任何网站抓取工具或下载管理器,如软件。

但如果必须使用代码,那么这是我的建议。使用curlfile_get_contents获取html内容,然后将相对链接(/xyz/mycss.css)替换为http://www.site.com/xyz/mycss.cssjavascript的绝对(css)链接}。但它仍然不是100%完美的解决方案。

这并不像你最初想的那么简单。你已经意识到这个时候了。