Question

我创建了一些使用kimonolabs.com和parsehub.com从某些网站收集数据的抓取工具

我想根据抓取工具获取的数据创建一个iPhone应用程序，并通过他们的api同步抓取工具提供给我的数据。

因此，如果抓取工具从网站上找到任何新数据，我希望在这些数据更改中进行同步。

我已经尝试过kimonolabs.com和parsehub.com从一些网站抓取一些数据。两个爬虫都差不多。

json文件可能至少为10mb，所以我认为最好尝试将所有数据与其他服务（如parse.com）同步，并查询特定数据以最小化iPhone应用程序的带宽。

这是来自kimonolabs的json api的数据样本： https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0

我正在考虑使用parse.com作为后端，并尝试将此json数据导入到parse.com，它也提供了一些托管服务。

将数据导入parse.com后，我需要分析这些数据并将其中一些数据（特定查询数据）提供给我将根据来自抓取工具的数据创建的iPhone应用程序。

如何在parse.com中创建后台作业或云代码以从json api导入这些数据？我是parse.com的新手

我试过了：

curl -X POST \
  -H "X-Parse-Application-Id: **APPID**" \
  -H "X-Parse-REST-API-Key: **RESTAPIKEY**" \
  -H "Content-Type: application/json" \
  -d 'https://www.kimonolabs.com/api/5khb4j90?apikey=8OBDXxQPcoAcW9AWqHzAzh1J9rlWHwIM&kimbypage=0' \
  https://api.parse.com/1/classes/CrawledData

但它不起作用，我正在考虑用类似上面的代码创建后台作业。

Answer 1

在Parse Cloud Code中..

<强> main.js

Parse.Cloud.define("crawledData", function(request, response) {
  // this is the passed parameter (https://www.kimonolabs.com/api/...)
  var url = request.params.value;
  // do something with url
});

然后您可以发送curl请求，如下所示

curl -X POST \
  -H "X-Parse-Application-Id: **APPID**" \
  -H "X-Parse-REST-API-Key: **RESTAPIKEY**" \
  -H "Content-Type: application/json" \
  -d '{ "value": "https://www.kimonolabs.com/api/..." }' \
  https://api.parse.com/1/function/crawledData

更多关于Cloud Code的阅读：https://parse.com/docs/cloud_code_guide

有关Cloud Code Background工作的更多信息：https://parse.com/docs/cloud_code_guide#jobs

Parse.com如何在Json中从Web同步数据

1 个答案: