从处理网站获取信息？

Question

我目前正在制作一个处理程序，其中一部分将从网站上获取一些信息。该网站将是一个HTML文件，其中存储了一些信息，我需要访问和解析。我知道如何打开一个html文件，但我的问题是它应该访问一个列表，这是在网站登录后生成的。我怎么做？

这是网站，在加载HTML文件后立即： http://i.imgur.com/kGIkyle.png

登录后，网站将每两秒钟开始吐出数据。 我想访问有序列表中的数据，我想在我的处理程序中每两秒访问一次。我该怎么做？

这是网站，登录后，过了一会儿。 http://i.imgur.com/O743fNJ.png

Answer 1

当您使用Web浏览器提交登录时，您实际上正在与服务器进行交互。通常，Web浏览器会提交包含登录信息的{{1}}请求（如用户名和密码），服务器会响应下一个要加载的网页。

具体细节取决于您与之互动的网站。有些网站可能会使用AJAX提交数据，然后触发一些JavaScript来运行。

关键是，您将必须准确了解底层Web服务器和网页的工作原理。然后，您将不得不使用这些交互的规则来发出处理代码中的相应请求。

可能就像在网址中提交登录凭据一样简单，然后只是从网页上抓取信息。

更有可能的是，您将不得不与某种Web API进行交互并自行处理请求。谷歌“Java发布请求”了解更多信息。

当然，所有这些都假设该网站对使用它的人开放。如果这个网站不是您的网站，它也可能被锁定，无法使用。