使用Windows 7和python 2。 新手程序员,但快速学习!
我目前正在重写我的代码,以便将传入的websocket数据从poloniex.com保存到MySQL数据库。我每秒收到大约200-300条消息。以前我在可能的情况下使用MySQLDB模块和executemany语句进行批量插入。
当我开始从更多网站提取数据时,我需要提高效率以便更好地扩展。经过一些研究后我发现了odo,但我无法弄清楚在我的情况下使用它,或者我是否可以。
我的问题是:
我是否必须将传入的数据放入csv文件然后使用odo将其移动到我的数据库中?工作流程会是什么样的?我会将来自我的websocket的消息附加到csv文件的末尾并从odo顶部拉出来吗?或者是否有可能直接获取消息并使用odo将它们提供给MySQL而无需先将其移动到csv文件?
然后我最后一个担心,我在第一次搞清楚我的数据库时尝试使用文本文件,而且速度很慢。会不会去csv文件,然后使用odo转到mysql真的比我的下一个最佳选择更快,使用pandas?