是否存在等效于读写表格文件(例如SAS sas7bdat文件)的Python?
我的团队正在远离SAS,我们希望使用以下方法在Python中复制SAS流程:
1)从各种来源(例如Excel,CSV,DB等)中提取数据。
2)使用新信息更新我们的数据仓库,并将此数据导出为Python表文件(将在接下来使用)
3)我们不是要从仓库中提取数据(超级慢),而是要读取这些Python表文件,然后对更大的数据集进行一些数据匹配。
由于我们将不再使用SAS,因此我们试图完全避免使用sas7bdat(SASPy)文件
任何建议,见解都将不胜感激!
答案 0 :(得分:1)
与SAS不同,Python没有本机数据格式。但是,有些模块实现了用于对Python对象进行序列化和反序列化的二进制协议。考虑使用HDF5格式保存和读取文件(https://www.h5py.org/)。另一种可能是泡菜(https://docs.python.org/3/library/pickle.html)。
答案 1 :(得分:1)
Parquet也值得考虑。