Twitter到SQL定期转储

时间:2018-08-26 17:46:37

标签: python pandas sqlalchemy tweepy

我的最终目标是流式处理Twitter(在python3中使用tweepy),写入数据(df或csv),并定期将该数据转储到SQL表中(使用SQLAlchemy)。我已经看到了非常简单的示例(siraj,sentdex等),并且具有功能脚本,但是我非常想知道在大规模生产环境中应该如何实现此功能

从另一种角度来看,由经验丰富的程序员构建的大型项目(以该示例为例)是什么样的? (当然,我是菜鸟。)

通常,我想知道如何通过具有广泛错误处理功能的防弹程序将脚本提升为程序员,并将我的脚本模块化为专业软件包,以及那里可能存在的我不知道应该做的事情。

任何人都可以提供资源或提出建议,以帮助我开始从功能编码器过渡到专业程序员吗?

谢谢!

0 个答案:

没有答案