我对DataFusion数据管道有疑问。
我正在使用DataFusion企业版。
当我在Studio of DataFusion中创建数据管道时，可以直接在config中设置出口和驱动程序的CPU和内存值。
直到现在，我知道如果创建数据管道，则将为每个数据管道创建一个VM实例。
但是，我只看到创建了与工作节点，主节点一样多的VM。
那么，创建数据管道时出口和驱动程序的CPU和内存意味着什么？
答案 0 :(得分：2)
对于Spark管道运行，Data Fusion将使用多个执行程序启动一个驱动程序，该执行程序通常对应于工作程序节点的数量（尽管并非总是如此）。通常，每个工作程序节点执行一个执行程序。因此，驱动程序和执行程序的CPU和内存设置为每个执行程序和驱动程序的运行使用的CPU数量和内存量设置了上限。
实际上，例如，如果将执行程序的内存或CPU设置为高于工作节点中的可用内存，则可能无法达到此上限。