将Pandas数据框插入SQL

Question

我有10,000个数据帧（都可以转换成JSON）。每个数据框有5,000行。因此，最终我想将大量数据插入到我的AWS RDS数据库中。 我想将它们插入到数据库中，但是当我遍历每一行并插入它们时，我发现使用PyMySQL的过程有点太慢。

第一个问题，有没有一种方法可以将整个数据框立即插入表中。我尝试在数据框库中使用“ to_sql”函数，但由于使用Python 3.6，它似乎不起作用

第二个问题，我应该使用NoSQL代替RDS吗？构造我的（大）数据的最佳方法是什么？

非常感谢

from sqlalchemy import create_engine
engine = create_engine("mysql://......rds.amazonaws.com")
con = engine.connect()
my_df.to_sql(name='Scores', con=con, if_exists='append')

表“得分”已经存在，我想将所有数据库放入该特定表中。还是有更好的方法来组织我的数据？

Answer 1

似乎您缺少该软件包或该软件包安装在其他目录中。使用文件管理器查找丢失的库libmysqlclient.21.dylib，然后将其复制到正确的文件夹/Users/anaconda3/lib/python3.6/site-packages/MySQLdb/_mysql.cpython-36m-darwin.so中。 我最好的猜测是它在您的lib或MySQLdb目录中。您也许还可以在已设置的虚拟环境中找到它。