如何使用odo使用Python 2将传入的websocket数据保存到MySQL?

时间:2018-02-20 20:29:13

标签: mysql python-2.7

使用Windows 7和python 2。 新手程序员,但快速学习!

我目前正在重写我的代码,以便将传入的websocket数据从poloniex.com保存到MySQL数据库。我每秒收到大约200-300条消息。以前我在可能的情况下使用MySQLDB模块和executemany语句进行批量插入。

当我开始从更多网站提取数据时,我需要提高效率以便更好地扩展。经过一些研究后我发现了odo,但我无法弄清楚在我的情况下使用它,或者我是否可以。

我的问题是:

我是否必须将传入的数据放入csv文件然后使用odo将其移动到我的数据库中?工作流程会是什么样的?我会将来自我的websocket的消息附加到csv文件的末尾并从odo顶部拉出来吗?或者是否有可能直接获取消息并使用odo将它们提供给MySQL而无需先将其移动到csv文件?

然后我最后一个担心,我在第一次搞清楚我的数据库时尝试使用文本文件,而且速度很慢。会不会去csv文件,然后使用odo转到mysql真的比我的下一个最佳选择更快,使用pandas?

0 个答案:

没有答案