两个python脚本之间的大量数据传输

Question

我有一个'read'python脚本，它读取大量数据并对其进行处理。这个数据必须提供给多个'函数'python脚本，我想并行运行。此数据包含多个列表变量。我想通过一个shell脚本运行所有这些python脚本（read和function）。

将大数据从“读取”脚本传输到多个“功能”脚本的有效方法是什么？

到目前为止，我已查看以下选项：

1. 通过套接字传输，使用json或pickle传输列表。
2. 只需将处理后的数据写入新文件，然后在每个“功能”脚本中读取此文件。
3. Lightweight Communication and Marshalling LCM。我在运行时遇到了问题。

哪种方法最好？或建议任何新方法。此外，将有助于设置LCM。