Question

我正在抓一个提取某些产品信息的网站，但我的价格有问题。我的代码如下：

> enlace<-"http://www.carulla.com/products/0000687608965009/Crema+Dental+Sensitive+Proalivio+Colgate"
> download.file(enlace, destfile = "scrapedpage.html", quiet=TRUE)
> doc<-read_html("scrapedpage.html")
> # description
> toString(xml_find_all(doc,xpath=paste0('//*[@id="pdpProduct"]/div[3]/h3')))
[1] "<h3 class=\"pdpInfoProductName\" itemprop=\"name\">Crema Dental Sensitive Proalivio Colgate</h3>"
> # reference
> toString(xml_find_all(doc,xpath=paste0('//*[@id="pdpProduct"]/div[3]/p')))
[1] "<p class=\"pdpInfoProductRef\">\r\n\t\t\t\t\t\t\t\t\tPresentación:C \r\n\t\t\t\t\t\t\t\t\tPLU:739983</p>"
> # prices
> toString(xml_find_all(doc,xpath=paste0('//*[@id="pdpProduct"]/div[3]/div[1]/div[2]/h4')))
[1] ""

我在原始页面的源代码中检查了这些信息，在那里我找到了：

<div class="pdpInfoProduct pull-left">
            <h3 class="pdpInfoProductName" itemprop="name">Crema Dental Sensitive Proalivio Colgate</h3>
            <h2 class="pdpInfoProductBrand" itemprop="brand">COLGATE</h2>
            <p class="pdpInfoProductRef">
                                Presentación:C&nbsp;
                                PLU:739983</p>
                        <div class="pdpInfoProductPrices">  
                <div class="pull-right">
                            <div class="pro-big-Ovalo">
                                <p>25%</p>
                            </div>
                        </div>
                    <div class="pdpInfoProductPrice" itemprop="offers" itemscope itemtype="http://schema.org/Offer">

                <meta itemprop="priceCurrency" content="COP" />
                    <meta itemprop="price" content="17213.0" />
                    <h4 class="priceOffer">
                        $17.213</h4>
                    <h6 class="before">Antes: <span class="strikeText">
                                $22.950</span>
                        </h6>
                    </div>
            </div>

我感兴趣的信息是17.213美元，但是当我尝试用R下载源代码时，我获得了以下内容：

> con2<-url(enlace,"r")
> x<-readLines(con2)
> close(con2)
> x[1270:1285]
 [1] "\t\t\t\t\t\t\t\t\tPLU:739983</p>"                                                                                                                                                
 [2] "\t\t\t\t\t\t\t<div class=\"pdpInfoProductPrices\">\t"                                                                                                                           
 [3] "\t\t\t\t\t<div class=\"pdpInfoProductPrice\" itemprop=\"offers\" itemscope itemtype=\"http://schema.org/Offer\">"                                                            
 [4] "\t\t\t\t\t"                                                                                                                                                                  
 [5] "\t\t\t\t\t<meta itemprop=\"priceCurrency\" content=\"COP\" />"                                                                                                               
 [6] "                        <meta itemprop=\"price\" content=\"\" />"                                                                                                       
 [7] "\t\t\t\t\t\t<h4 class=\"price\">"                                                                                                                                             
 [8] "\t\t\t\t\t\t\t</h4>"                                                                                                                                                           
 [9] "\t\t\t\t\t\t</div>"                                                                                                                                                           
[10] "\t\t\t\t</div>"                                                                                                                                                             
[11] "\t\t\t\t"                                                                                                                                                                   
[12] "\t\t\t\t\t\t\t\t\t"                                                                                                                                                              
[13] "\t\t\t\t\t\t\t\t\t\t\t\t\t  <div class=\"product-seller row-fluid\">"                                                                                                                
[14] "\t\t\t\t       <!-- +++++ Carulla Seller +++++ -->                                                "                                                                         
[15] "                               <p> Vendido por: &nbsp Carulla</p>                                                                                                      "
[16] "                    </div>"

也就是说，我得到\ t \ t \ t \ t \ t \ t \ t而不是$ 17.213。

我将非常感谢你的帮助。

Answer 1

网站可能会检查UA和Cookie，以防止您完全按照自己的意愿行事。我只是尝试使用wget下载它，只是flat-out得到403 Forbidden错误。

如今，网页抓取的想法已经过时了，至少对于商业页面来说是这样。有一些解决方法（例如，您可以检查download.file（）的帮助，并阅读wget和curl的联机帮助页以了解如何更改UA和导入cookie），但是如果您真的想要大规模地执行此操作，您可能希望查看浏览器脚本，然后将该数据导入R。

请记住，您正在做一些网站所有者不希望您做的事情。简而言之，这几乎与R无关。

R下载源代码与网站源代码的差异

1 个答案: