我对Spark很新。我对火花加载输入数据的方式感到有点困惑。例如：假设我有一个1 TB文件，我有一个带有3个节点（4cpu，8gb ram和10gb磁盘空间）的spark集群。现在，如何在这些节点之间划分数据？它只加载文件的元数据，还是尝试加载足以适应集群并在迭代中处理文件？
答案 0 :(得分：-1)
文件存储在HDFS中，而不是火花 使用复制因子3您将需要3 TB的Hardisk。
请点击链接以便更好地理解 http://bytepadding.com/big-data/spark/understanding-spark-through-map-reduce/