标签： apache-spark parsing compilation bigdata
我有数百万个文件，它们以自定义语法编写，具有类似C的语法。我也有一个用Java编写的词法分析器和解析器，用于将此自定义语言转换为C。 对于如何每天解析和编译几百万个这些文件，我需要一些指导。 我应该选择Spark / Pandas框架吗？ 那会非常昂贵的内存吗？