如何使用R(Rcurl / XML包?!)来抓取这个网页?

时间:2010-03-14 18:03:24

标签: r web-scraping

我有一个(有点复杂的)网络抓取挑战我想完成并且会喜欢某个方向(无论你想分享什么级别),这里有:

我想浏览此链接中的所有“物种页面”:

http://gtrnadb.ucsc.edu/

所以对于他们每个人我都会去:

  1. 物种页面链接(例如:http://gtrnadb.ucsc.edu/Aero_pern/
  2. 然后转到“辅助结构”页面链接(例如:http://gtrnadb.ucsc.edu/Aero_pern/Aero_pern-structs.html
  3. 在该链接中,我希望废弃页面中的数据,以便我有一个包含此数据的长列表(例如):

    chr.trna3 (1-77)    Length: 77 bp
    Type: Ala   Anticodon: CGC at 35-37 (35-37) Score: 93.45
    Seq: GGGCCGGTAGCTCAGCCtGGAAGAGCGCCGCCCTCGCACGGCGGAGGcCCCGGGTTCAAATCCCGGCCGGTCCACCA
    Str: >>>>>>>..>>>>.........<<<<.>>>>>.......<<<<<.....>>>>>.......<<<<<<<<<<<<....
    

    每一行都有自己的列表(列表中每个动物的列表中的每个“trna”)

    我记得遇到过允许执行此类任务的Rcurl和XML(在R中)。但我不知道如何使用它们。所以我希望拥有的是: 1.关于如何构建这样的代码的一些建议。 2.并建议如何学习执行此类任务所需的知识。

    感谢您的帮助,

    塔尔

3 个答案:

答案 0 :(得分:17)

塔尔,

您可以使用R和XML包来执行此操作,但是(该死的)这是您尝试解析的一些格式不正确的HTML。事实上,在大多数情况下,您希望使用readHTMLTable()函数which is covered in this previous thread

鉴于这个丑陋的HTML,我们将不得不使用RCurl包来提取原始HTML并创建一些自定义函数来解析它。这个问题有两个组成部分:

  1. 使用getURLContent()包中的RCurl函数和一些正则表达式魔法获取基础网页(http://gtrnadb.ucsc.edu/)中的所有基因组网址: - )
  2. 然后获取该URL列表并抓取您要查找的数据,然后将其粘贴到data.frame
  3. 所以,这里......

    library(RCurl)
    
    ### 1) First task is to get all of the web links we will need ##
    base_url<-"http://gtrnadb.ucsc.edu/"
    base_html<-getURLContent(base_url)[[1]]
    links<-strsplit(base_html,"a href=")[[1]]
    
    get_data_url<-function(s) {
        u_split1<-strsplit(s,"/")[[1]][1]
        u_split2<-strsplit(u_split1,'\\"')[[1]][2]
        ifelse(grep("[[:upper:]]",u_split2)==1 & length(strsplit(u_split2,"#")[[1]])<2,return(u_split2),return(NA))
    }
    
    # Extract only those element that are relevant
    genomes<-unlist(lapply(links,get_data_url))
    genomes<-genomes[which(is.na(genomes)==FALSE)]
    
    ### 2) Now, scrape the genome data from all of those URLS ###
    
    # This requires two complementary functions that are designed specifically
    # for the UCSC website. The first parses the data from a -structs.html page
    # and the second collects that data in to a multi-dimensional list
    parse_genomes<-function(g) {
        g_split1<-strsplit(g,"\n")[[1]]
        g_split1<-g_split1[2:5]
        # Pull all of the data and stick it in a list
        g_split2<-strsplit(g_split1[1],"\t")[[1]]
        ID<-g_split2[1]                             # Sequence ID
        LEN<-strsplit(g_split2[2],": ")[[1]][2]     # Length
        g_split3<-strsplit(g_split1[2],"\t")[[1]]
        TYPE<-strsplit(g_split3[1],": ")[[1]][2]    # Type
        AC<-strsplit(g_split3[2],": ")[[1]][2]      # Anticodon
        SEQ<-strsplit(g_split1[3],": ")[[1]][2]     # ID
        STR<-strsplit(g_split1[4],": ")[[1]][2]     # String
        return(c(ID,LEN,TYPE,AC,SEQ,STR))
    }
    
    # This will be a high dimensional list with all of the data, you can then manipulate as you like
    get_structs<-function(u) {
        struct_url<-paste(base_url,u,"/",u,"-structs.html",sep="")
        raw_data<-getURLContent(struct_url)
        s_split1<-strsplit(raw_data,"<PRE>")[[1]]
        all_data<-s_split1[seq(3,length(s_split1))]
        data_list<-lapply(all_data,parse_genomes)
        for (d in 1:length(data_list)) {data_list[[d]]<-append(data_list[[d]],u)}
        return(data_list)
    }
    
    # Collect data, manipulate, and create data frame (with slight cleaning)
    genomes_list<-lapply(genomes[1:2],get_structs) # Limit to the first two genomes (Bdist & Spurp), a full scrape will take a LONG time
    genomes_rows<-unlist(genomes_list,recursive=FALSE) # The recursive=FALSE saves a lot of work, now we can just do a straigh forward manipulation
    genome_data<-t(sapply(genomes_rows,rbind))
    colnames(genome_data)<-c("ID","LEN","TYPE","AC","SEQ","STR","NAME")
    genome_data<-as.data.frame(genome_data)
    genome_data<-subset(genome_data,ID!="</PRE>")   # Some malformed web pages produce bad rows, but we can remove them
    
    head(genome_data)
    

    结果数据框包含与每个基因组条目相关的七列:ID,长度,类型,序列,字符串和名称。名称列包含基础基因组,这是我对数据组织的最佳猜测。这就是它的样子:

    head(genome_data)
                                       ID   LEN TYPE                           AC                                                                       SEQ
    1     Scaffold17302.trna1 (1426-1498) 73 bp  Ala     AGC at 34-36 (1459-1461) AGGGAGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACCGGGATCGATGCCCGGGTTTTCCA
    2   Scaffold20851.trna5 (43038-43110) 73 bp  Ala   AGC at 34-36 (43071-43073) AGGGAGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACCGGGATCGATGCCCGGGTTCTCCA
    3   Scaffold20851.trna8 (45975-46047) 73 bp  Ala   AGC at 34-36 (46008-46010) TGGGAGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACCGGGATCGATGCCCGGGTTCTCCA
    4     Scaffold17302.trna2 (2514-2586) 73 bp  Ala     AGC at 34-36 (2547-2549) GGGGAGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACAGGGATCGATGCCCGGGTTCTCCA
    5 Scaffold51754.trna5 (253637-253565) 73 bp  Ala AGC at 34-36 (253604-253602) CGGGGGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACCGGGATCGATGCCCGGGTCCTCCA
    6     Scaffold17302.trna4 (6027-6099) 73 bp  Ala     AGC at 34-36 (6060-6062) GGGGAGCTAGCTCAGATGGTAGAGCGCTCGCTTAGCATGCGAGAGGtACCGGGATCGATGCCCGAGTTCTCCA
                                                                            STR  NAME
    1 .>>>>>>..>>>>........<<<<.>>>>>.......<<<<<.....>>>>>.......<<<<<<<<<<<.. Spurp
    2 .>>>>>>..>>>>........<<<<.>>>>>.......<<<<<.....>>>>>.......<<<<<<<<<<<.. Spurp
    3 .>>>>>>..>>>>........<<<<.>>>>>.......<<<<<.....>>>>>.......<<<<<<<<<<<.. Spurp
    4 >>>>>>>..>>>>........<<<<.>>>>>.......<<<<<.....>.>>>.......<<<.<<<<<<<<. Spurp
    5 .>>>>>>..>>>>........<<<<.>>>>>.......<<<<<.....>>>>>.......<<<<<<<<<<<.. Spurp
    6 >>>>>>>..>>>>........<<<<.>>>>>.......<<<<<......>>>>.......<<<<.<<<<<<<. Spurp
    

    我希望这会有所帮助,并感谢有趣的小周日下午R挑战!

答案 1 :(得分:1)

刚刚尝试使用Mozenda(http://www.mozenda.com)。大约10分钟后,我有一个代理人可以像你描述的那样抓取数据。您可以使用他们的免费试用版获得所有这些数据。编码很有趣,如果你有时间,但看起来你可能已经为你编写了一个解决方案。干得好Drew。

答案 2 :(得分:0)

有趣的问题并且同意R很酷,但不知何故我发现R在这方面有点麻烦。我似乎更喜欢首先以中间纯文本形式获取数据,以便能够在每个步骤中验证数据是否正确...如果数据已准备好以其最终形式或用于在某处上传您的数据RCurl非常是有用的。

我认为最简单的是(在linux / unix / mac /或cygwin上)只镜像整个http://gtrnadb.ucsc.edu/站点(使用wget)并获取名为 / 的文件 - structs.html,sed或awk您想要的数据并格式化以便读入R。

我相信还有很多其他方法。