在Ignite自定义架构上将Spark写入Ignite

时间:2019-02-06 18:44:52

标签: apache-spark ignite

我使用Spark 2.3.0和Ignite 2.7.0,我已经使用

在Ignite中创建了自定义架构
<property name="sqlSchemas">
        <list>
            <value>dbsch</value>
            <value>dbschma</value>
            <value>db_ui</value>
        </list>
    </property>

我可以在每个模式上创建表。但是我的问题是我无法将数据加载到特定的架构中。

df.write
          .format(FORMAT_IGNITE)
          .option(OPTION_CONFIG_FILE, CONFIG)
          .option(OPTION_TABLE, "db_ui."+tableName)
          .option(OPTION_CREATE_TABLE_PRIMARY_KEY_FIELDS, primaryKey)
          .option(OPTION_CREATE_TABLE_PARAMETERS, "template=replicated")
          .mode(SaveMode.Append)
          .save()

它尝试将表创建为df并最终由于在Spark Config中说空而失败。如果我尝试在public(默认)模式中加载表,它将起作用。如果尝试从Ignite读取,则会收到相同的错误。请输入任何内容?

0 个答案:

没有答案