标签: pyspark
有没有办法获取有关所有数据帧的元数据?我会对类似于每个数据框的列表感兴趣(内存分发信息等)。我在文档中没有看到任何显示如何执行此操作的内容。
当我遇到内存问题时,我认为这是一个故障排除工具。如果我正在开发一个创建,缓存和取消大量数据帧的大脚本,那么能够显示数据帧列表真的很好,这样我就可以看到我是否遗漏了任何内容或者我的缓存设置是错误的或类似的东西。
由于