我正在开发的项目从第三方API(如Facebook,Twitter等)收集数据。来自这些API的数据作为对象或数组返回,我们需要一种方法来存档这些数据,以防我们以后通过PHP访问/读取/处理它(之后几个月或更长时间)。
我正在考虑使用AWS的DynamoDB和json_encode数组并为每个“项目”创建记录(例如:Facebook上的一个帖子,其所有属性都作为数组),但是,我不确定这是否是最好的处理它的方法。每天都会记录成千上万的“项目”,我们确实需要能够在以后返回并读取这些数据(通过PHP),同时仍然将数据归因于一些值,例如用户帐户,项目ID(例如:Facebook粉丝页面ID,Twitter用户帐户等)以及数据被拉出的时间戳,因此我们可以在必要时抓取特定项目。
保存此数据的最佳方法是什么,主要用于存档目的,还保留在必要时查找特定数据的能力?我们需要一些快速的东西(包括写入,读取/查询/搜索)和可扩展的东西,可以随时间处理大量数据。建议的解决方案的建议和例子将不胜感激。