Question

我正在尝试编写一个应用程序来自动搜索搜索引擎（在搜索框中搜索指定的电话号码）并将结果页面作为任何内容（XML，文本）。我已经尝试了几个网络爬虫/刮刀，但我没有找到执行搜索并保存结果数据的东西。他们只能得到我不需要的页面数据。

语言可以是C＃，VB.Net或Java，只要提供解决方案就没关系。感谢。

我正在寻找一个可以执行此操作的工具或代码段。

Answer 1

这样的函数会将数据提取为字符串，但您必须自己解析数据：

Public Shared Function GetWebPageData(ByVal address As Uri) As String
    Dim request As HttpWebRequest
    Try
        request = DirectCast(WebRequest.Create(address), HttpWebRequest)

        Using response As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
            Using reader As StreamReader = New StreamReader(response.GetResponseStream())
                Return reader.ReadToEnd
            End Using
        End Using
    Catch ex As Exception
        'TODO handle the error here....
        Return ""
    End Try
End Function

用法：

Dim xml As String = Networking.GetWebPageData(New Uri("http://www.hitta.se/077-570%2005%2000/f%C3%B6retag_och_personer"))
Debug.WriteLine(xml)

保存搜索引擎的搜索结果

1 个答案: