从html解析并使用php处理大量数据到sqlite

Question

我有一个适用于当地交通时间的Android应用程序，例如公共巴士，渡轮和地铁，需要在线和离线工作。

当应用需要离线工作时，我需要不断更新其数据库。但是，我无法从市政当局访问任何类型的网络服务或数据库。因此，我准备了一个PHP脚本，它将解析市政网页上的html内容，并提取每个公共巴士的时间，每个地下组合（从哪里到哪里）和每个渡轮组合（类似于地下）。但是，我的问题是从这里开始的。 解析所有这些数据大约100k记录并将它们处理到sqlite数据库工作真的很慢。

我是处理大量数据和php的新手。所以我可以接受任何建议。

谢谢，

Answer 1

您的服务器无法执行此处理并集中缓存数据库。然后所有Android应用程序必须做的是下载一个压缩版本的数据库供本地使用离线时。当应用程序再次联机时，它可以与您的服务器同步以检索最新数据。您甚至可以批量发送数据。然后你就可以让这个php脚本每天抓取并抓取你的数据。