我有不同的来源,如S3(json文件)和API,我必须将所有数据带到一个唯一的格式,以便将数据存储在数据库中。
我试图在我的php后端解析文件和API响应,但它太慢了。 是否有一些最佳实践或建议我如何以正确的方式做到这一点?
我要使用所有必需的方法进行界面,然后使用Class'对于将实现接口的每个源。
如果我将使用数百或数千个文件(每小时)这种方法是最好的方法吗?
P.S。目前该项目是在Symfony2框架之上构建的。
答案 0 :(得分:1)
我猜你强迫我的传统RDBMS将所有来源转换为特定的格式。
您可以在MySQL 5.7中使用MongoDB,Cassandra甚至JSON类型等无模式系统来存储3个字段:id,source_type和source_json。这样,您可以创建几个知道如何解析source_type(例如:S3)并相应地使用它们的类