在没有API和Schema的情况下为Internet站点构建应用程序

Question

我被要求为类似Ebay的芬兰拍卖网站huuto.net建立一个控制系统。 该系统将通过特定规则重新开启封闭式拍卖。它将完全位于主站点的外部，在外部网站上运行。

但该网站不愿意发布其API和Schema。我知道在不了解其API的情况下无法构建这样的系统。

如何在没有API和架构的情况下构建互联网网站？

Answer 1

您可以尝试某种形式的自动浏览：mechanize

编辑： Examples这里。

Answer 2

有可能通过屏幕抓取网站获取所需的数据。您可以通过将数据发布到表单中或使用WebClient类型API来执行您想要执行的操作，以使您的程序像Web浏览器一样运行，但这可能是一个非常脆弱的解决方案。

老实说，没有API，确实没有好的解决方案。

Answer 3

我认为您要求构建一个与其他网站交互的网站，而不使用定义良好的API。是吗？

您可以在不使用官方API的情况下与外部网站进行互动 - 为此，您需要模仿普通网站访问者并将您的请求发送到网站前端（与网络抓取工具的方式非常相似） 。像hpricot，mechanize和curl这样的工具可以帮助你解析页面内容和发送请求，但这样做可能会让你的系统变得非常脆弱。对目标站点的任何更改都可能意味着您必须重写系统的某些部分。

Answer 4

您需要访问数据库或API，否则即使尝试也没有意义。