使用Scrapy + Splash抓取Javascript评论

时间:2017-11-28 08:56:29

标签: javascript python scrapy render splash

我在提取JavaScript评论时遇到了麻烦。 我使用的工具是Scrapy和Splash的组合。 将javascript渲染为html后,仍无法提取commentout。 源代码如下。

</div><br clear="all"><a href="http://api.gogo.gs"><img 

src="http://api.gogo.gs/images/api_125x17.png" border="0"></a> <a href="http://www.gnavi.co.jp/">
<img src="http://apicache.gnavi.co.jp/image/rest/b/api_155_20.gif" width="155" height="20" border="0" alt="グルメ情報検索サイト ぐるなび"></a> <a href="http://www.hotpepper.jp/"><img src="http://api.hotpepper.jp/content/images/hp_api_s.gif" alt="ホットペッパー Webサービス" width="155" height="20" border="0" title="ホットペッパー Webサービス"></a> <a href="http://apiblog.kakaku.com/"><img src="http://img.tabelog.com/images/banner/tabelog_api_135x17.gif " alt="食べログ.com WEB サービス" title="食べログ.com WEB サービス" border="0"></a> 
<script type="text/javascript">
<!--
window.onload=function(){
fill('/Ajax/gasoline.php?lat=42.99461&lng=142.8565','gasolineInfo');
fill('/Ajax/restaurant.php?lat=42.99461&lng=142.8565&offset=1','restaurantInfo');
fill('/Ajax/hotel.php?lat=42.99461&lng=142.8565','hotelInfo');
_map = new Y.Map("ic-map-box",{configure : {doubleClickZoom : true,}});
_map.addControl(new Y.LayerSetControl());
_map.addControl(new Y.ScaleControl());
_map.addControl(new Y.SliderZoomControlVertical());
_map.drawMap(new Y.LatLng(42.99461,142.8565), 10, Y.LayerSetId.NORMAL);
var marker = new Y.Marker(new Y.LatLng(42.99461,142.8565));
 marker.bindInfoWindow("<br><a href=\"ic.php?ic=%E5%8D%81%E5%8B%9D%E6%B8%85%E6%B0%B4\">十勝清水</a><br><a href=\"route.php?f=%E5%8D%81%E5%8B%9D%E6%B8%85%E6%B0%B4&t=&c=%E6%99%AE%E9%80%9A%E8%BB%8A\">出発ICにする</a><br><a href=\"route.php?f=&t=%E5%8D%81%E5%8B%9D%E6%B8%85%E6%B0%B4&c=%E6%99%AE%E9%80%9A%E8%BB%8A\">到着ICにする</a><br>");
 _map.addFeature(marker);

}
// -->
</script>
</div></div><div id="seesaaAdE" class="seesaaAdE"></div>

我需要在<!--//-->之后的<script type="text/javascript">之间,lat=42.99461&lng=142.8565中的这一部分fill('/Ajax/gasoline.php?lat=42.99461&lng=142.8565','gasolineInfo');。 任何想法都会救我!谢谢!

0 个答案:

没有答案