Spring XD读取多个网站数据

时间:2015-02-03 07:51:15

标签: spring spring-batch spring-integration spring-xd

我需要创建一个网站,读取不同网站的内容并帮助比较它们。

其中一个有类似网站的例子

http://www.mysmartprice.com/mobile/samsung-galaxy-grand-2-msp3633

这有助于我们比较不同在线网站之间的三星手机价格。

现在我需要知道: 1.如何阅读来自不同网站的数据。 使用java,我可以读取和获取html数据。但是问题出现了,解析html内容以获得所需信息的最佳方法是什么?

我想使用Spring XD。请提出最佳策略?

此致 Jubin

1 个答案:

答案 0 :(得分:0)

我认为你需要为每个数据源开发一个java应用程序,然后开发一个自定义模块" source",并使用Spring xd来获取数据。

另一个解决方案是开发应用程序,让你的应用程序将所需的数据加载到csv文件,并在程序运行时自动将它们转移到/ tmp / xd / input之类的路径,然后使用Spring XD从csv中获取数据文件到你需要的任何目的地。