随着时间的推移刮取人口的半实时位置数据

时间:2017-06-30 16:21:38

标签: api web-scraping geolocation social-networking

这通常不是StackOverflow上提出的问题类型,但我想不出更好的场地,所以请提前道歉。

我正在寻找某种API或其他解决方案,这些解决方案允许我以半实时方式持续刮取人口的位置(理想情况下约为50 +用户)。为了澄清,我希望GPS采样是相当规律的(〜每小时最大值),但我很好地得到数据。我知道像Snapchat和Facebook这样的服务似乎有这样的数据,并偶尔向用户公开,但我似乎找不到任何好的方法来抓它。数据不需要使用任何类型的用户标识进行标记。

我意识到我可以创建某种移动应用程序来为我收集这些数据,但我希望有一个更聪明的解决方案可以让我在没有用户跳过篮球的情况下抓取这类信息。感谢。

2 个答案:

答案 0 :(得分:0)

经过广泛的研究和个人测试,您的要求比人们预期的要困难一些。我将尝试探索与您相关的所有途径,其他人可能会根据需要调整或批评我的答案。

根据您的要求,确实没有任何服务可以抓取匿名位置数据,其中很大一部分原因是法律和隐私的混合。这里有一些来源,不一定是权威的,但概述了所涉及的问题:

https://news.mit.edu/2013/how-hard-it-de-anonymize-cellphone-data

https://myshadow.org/location-tracking

https://www.law.berkeley.edu/wp-content/uploads/2015/04/2016-06-07_Cell-Tracking-Primer_Final.pdf

文章讨论了将匿名位置数据连接到个人是多么容易,他们向麻省理工学院提供的资料来源谈论在位置数据库上进行的研究:150万人手机跟踪数据中的95%能够待识别。这有点可怕,如果这些信息是公开的,那么隐私权将是巨大的。

关于伯克利法律pdf,个人数据当然只适用于执法部门。这些问题导致了Google和Apple等公司的隐私政策,其中应用的位置信息由该应用和制作公司严格处理。禁止公开发布此类信息。阅读他们的隐私政策了解更多信息。

归结为:如果您想跟踪人员的位置,即使是小型池,您也必须创建一种特别授予您权限的方式,他们正在使用的应用程序,以及公司和位置该应用正在使用的API。 Snapchat和Facebook能够做到这一点,并分享这些信息,因为他们有隐私政策,人们使用他们的软件同意和基础设施实时生成这些信息。如果滥用隐私,则现在由用户负责,而不是提供服务的公司。并且所有这些信息严格限于该应用程序的用户,并且在它们的上下文中,即只有朋友可以看到该信息。

从这个漫长的前提来看,你真的只有两种选择。

  1. 创建一个人们可以下载的应用,或者您可以与人共享该应用,他们可以选择共享其位置以向您发送“匿名”位置数据。然后将其添加到数据库,或以其他方式使用它来接收您要查找的信息。
  2. 成为大型技术学校(如麻省理工学院)或其他研究机构的研究员,请求或参与包含位置数据的研究项目。
  3. 重点是位置是敏感的,并且该信息不公开。您必须提供方法,或通过提供该信息的公司。我会在用于创建应用程序的API示例中加入,但是有很多不同的设备,编程语言和执行此操作的方法,这可能更适合自己的问题。

    同样,如果有错过的信息,请随意添加。

答案 1 :(得分:0)

您可能希望在此处查看API

https://www.programmableweb.com/news/51-gps-apis-breadcrumbs-ipoki-and-waze/2013/10/16

此外,可以在此处找到一些示例数据

https://www.microsoft.com/en-us/research/publication/t-drive-trajectory-data-sample/?from=http%3A%2F%2Fresearch.microsoft.com%2Fapps%2Fpubs%2F%3Fid%3D152883#

http://tunedit.org/challenge/IEEE-ICDM-2010?m=summary

http://archive.ics.uci.edu/ml/datasets.html

https://archive.ics.uci.edu/ml/datasets/GPS+Trajectories

https://archive.ics.uci.edu/ml/datasets/Taxi+Service+Trajectory+-+Prediction+Challenge,+ECML+PKDD+2015

听起来很有趣的项目......祝你好运。

其他问题: 您提到了刮擦,您是否可以提供要刮削的数据的位置,以便提供刮削解决方案?

至于一个聪明的解决方案: 您可以创建一个简单的网页,其中包含用户位置的当前时间。当用户打开此页面时,您可以使用此处所述的javascript实时解决方案  https://www.pubnub.com/tutorials/javascript/mapping-javascript-tracking/ 或者只是将其添加到现有网站。创建ajax连接以将用户的位置发送到服务器。当然,这需要用户长时间打开您的网页。

或者,如果您分享了您的目的,那么也许愿意的公众将加入以帮助您提供该信息并在他们的手机上激活应用程序。