有没有一种方法可以将dask read_sql_table中的列设置为null？

Question

我正在连接到oracle数据库，并试图提供一个约有7700万行的表。刚开始，我尝试在pandas中使用chunksize，但是无论设置什么块大小，我总是会遇到内存错误。然后，我尝试使用Dask，因为我知道它对于处理大量数据更好。但是，有一些列需要设置为NULL，是否可以像在熊猫中写出SQL查询时那样在read_sql_table查询中执行此操作？

欢呼声

Answer 1

如果可能，我建议在oracle端进行设置，使用正确的数据类型进行查看，并使用read_sql_table。

您可能可以直接执行此操作，因为read_sql_table接受sqlalchemy表达式。如果您可以这样说，它应该可以工作。